How can I use my idle 2060 GPU for local LLM-based apps and services?

https://www.reddit.com/r/LocalLLaMA/comments/18aqoa2/how_can_i_use_my_idle_2060_gpu_for_local_llmbased/

使用者想知道如何最好利用閒置的 2060 GPU 來執行本地的 LLM 應用與服務。他已經將 PC 內的 2060 換成 3090,目前 2060 閒置。他具有一個運行包括聊天模型和編碼輔助等 LLM 服務的家庭實驗室節點群,但由於缺乏 GPU 和較高的電力需求,實驗室未運行 LLM 服務。求助於如何有效地使用 2060。

via r/LocalLLaMA

December 5, 2023 at 08:12AM

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *