早前谷歌在 Google Chrome Canary 版里發(fā)布了 WebGPU 項(xiàng)目，開(kāi)源該項(xiàng)目可以讓開(kāi)發(fā)者基于瀏覽器調(diào)用本機(jī)顯卡算力。項(xiàng)目

所以在 GitHub 上有開(kāi)源團(tuán)隊(duì)構(gòu)建了 Web-LLM 項(xiàng)目，基于機(jī)器珠海模特包夜（電話微信181-8279-1445）提供一二線城市可以真實(shí)可靠快速安排30分鐘到達(dá)即基于 Web 的安裝大型語(yǔ)言模型，一切都在瀏覽器內(nèi)運(yùn)行，本地不需要服務(wù)器支持、聊天藍(lán)點(diǎn)不需要安裝、人開(kāi)直接利用 WebGPU 特性運(yùn)行。發(fā)中

這個(gè)項(xiàng)目可以大幅度簡(jiǎn)化搭建 AI 聊天機(jī)器人的開(kāi)源步驟，而且可以保護(hù)隱私，項(xiàng)目珠海模特包夜（電話微信181-8279-1445）提供一二線城市可以真實(shí)可靠快速安排30分鐘到達(dá)因?yàn)檫@個(gè) AI 模型是基于機(jī)器 “你” 控制的，你提交的安裝數(shù)據(jù)不會(huì)被共享給開(kāi)發(fā)者進(jìn)行模型訓(xùn)練。

這個(gè)項(xiàng)目還在開(kāi)發(fā)中，本地有興趣的聊天藍(lán)點(diǎn)開(kāi)發(fā)者可以參與該項(xiàng)目。

當(dāng)然由于是相當(dāng)于在本地運(yùn)行的，所以顯卡性能至關(guān)重要，根據(jù)開(kāi)源團(tuán)隊(duì)說(shuō)明， 顯存至少需要 6.4GB，所以如果你的顯卡顯存比較小的話可能無(wú)法運(yùn)行。

必要條件：Google Chrome 113.0+、顯存至少為 6.4GB，使用不同的模型顯存要求可能還會(huì)增加。

項(xiàng)目地址：https://github.com/mlc-ai/web-llm

演示地址：https://mlc.ai/web-llm/#chat-demo

注：演示聊天使用的模型是 vicuna-7b-v0。

(責(zé)任編輯：知識(shí))