Show HN: 80% faster, 50% less memory, 0% loss of accuracy Llama finetuning

https://github.com/unslothai/unsloth

展示 HN: Unsloth AI 發布本地 QLoRA 微調技術,實現 80%的訓練速度提升和 50%的記憶體降低,同時保持 0%的準確度損失。該技術無需新硬件,支持 2018 年以後的 NVIDIA GPU,使用 OpenAI 的 Triton 語言編寫。還支持 4bit 和 16bit 微調,開源版本可實現 5 倍速訓練,或付費版本達到 30 倍速。目前只支援 Linux 和 Pytorch 2.1 以上版本。

via Hacker News

December 2, 2023 at 09:18AM

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *