使用Ollama打造你的個人AI助理!

前言

最近看了在Netflix上映的”ATLAS” (異星戰境),再加上Facebook最近說要把Data拿去訓練AI,我又突然莫名的很想弄一個個人AI了,總覺得如果有一個對話AI 好像也不錯,至少可以自言自語啊!萬一要隔離也不會無聊對吧!所以我們這篇就先來嘗試建立一個本機的文字對話AI 看看玩起來覺得怎樣吧!

第一步:安裝Ollama

你以為我要廢話一堆的教你嗎?你現在看到的就是唯一的廢話了!首先直接到Ollama的官網,然後針對你使用的作業系統做下載、安裝的步驟,我是mac 所以我下載 mac 版本,然後講app拖曳到應用程式資料夾。

下載Ollama

第二步:跑指令

安裝好開啟Ollama,沒意外你會獲得一個指令如下:

ollama run llama3

如果你跟我一樣是mac請打開Termial 終端機,如果你是windows請打開cmd 命令提示字元,接著輸入上面的指令按下enter,第一執行會自動偵測是否有安裝llamma3,如果沒有就會跑自動安裝程序,這個需要執行一下段時間,執行結束後你就可以直接輸入你想要的對話內容,如果想離開只要輸入「/bye」即可,非常容易,而且到這邊你已經完成私人AI架設了,而且可以立即開始直接免費使用!

在terminal中進行對話的模式

第三步:簡單的介面(mac only )

這個步驟不一定需要,我只是不太喜歡終端機的介面,所以我另外找了可以再本機端操作的介面,叫做Ollamac,你可以直接下載.dmg檔來做安裝,一樣將app拖曳到應用程式資料夾即可。接著請記住,你在使用Ollamac的時候,Ollama一定要是開啟的,這樣才可以使用Ollamac。換句話說Ollamac只是一個佈景主題的概念,並不是核心,所以沒有打開Ollama是無法使用的。

補充說明:Ollama的其他Models 使用

不管你知道或不知道,我們剛剛使用的是一個叫 llama3 的文字AI,是有Meta 也就是Facebook的總公司所開發的,那你可能會說我就不想用臉書的東西啊!那當然沒問題!Ollama 也有提供其他的AI model給你使用,以下是我叫ChatGPT整理成一個簡單的表格協助大家快速理解,詳細資料還是要看OllamaModels 介紹頁面喔。

模型名稱描述
llama3Meta Llama 3:迄今為止最強的開源LLM
phi3Phi-3 是一系列輕量級的3B(Mini)和14B(Medium)開源模型,由微軟開發
ayaAya 23 由 Cohere 發布,是支持23種語言的多語言模型系列
mistralMistral AI 發布的7B模型,更新到版本0.3
gemma由 Google DeepMind 開發的輕量級開源模型系列,更新到版本1.1
mixtralMistral AI 的專家混合模型,具有8x7b 和 8x22b 參數大小的開源權重
llama2Llama 2 是一系列從7B到70B參數的基礎語言模型集合
codegemmaCodeGemma 是一系列強大的輕量級模型,能執行代碼填充、代碼生成、自然語言理解、數學推理和指令遵循等任務
command-rCommand R 是一個優化對話互動和長上下文任務的大型語言模型
command-r-plusCommand R+ 是一個強大、可擴展的大型語言模型,專為實際企業應用設計
llavaLLaVA 是一個新穎的端到端多模態模型,結合了視覺編碼器和 Vicuna 以實現通用的視覺和語言理解,更新到版本1.6
dbrxDBRX 是由 Databricks 創建的開源通用LLM
qwenQwen 1.5 是阿里雲的系列大型語言模型,範圍從0.5B到110B參數
codellama一個大型語言模型,能使用文本提示生成和討論代碼
dolphin-mixtral由 Eric Hartford 創建的基於 Mixtral 專家混合模型的8x7b 和 8x22b 調優模型,擅長編碼任務
llama2-uncensored由 George Sung 和 Jarrad Hope 開發的未經審查的 Llama 2 模型
deepseek-coderDeepSeek Coder 是一個強大的編碼模型,訓練於兩萬億代碼和自然語言標記
nomic-embed-text一個高性能開源嵌入模型,具有大範圍上下文窗口
mistral-openorcaMistral OpenOrca 是一個7B參數模型,使用 OpenOrca 數據集在 Mistral 7B 模型上進行調優
phiPhi-2 是微軟研究院的2.7B語言模型,展現了出色的推理和語言理解能力
dolphin-mistral基於 Mistral 的未經審查的 Dolphin 模型,擅長編碼任務,更新到版本2.8
orca-mini從3B到70B參數的一般用途模型,適合入門級硬件
zephyrZephyr 是一系列基於 Mistral 和 Mixtral 模型的調優版本,訓練為有幫助的助手
nous-hermes2Nous Research 開發的擅長科學討論和編碼任務的強大模型家族
starcoder2StarCoder2 是下一代透明訓練的開源代碼LLM,有3B、7B和15B參數大小
llama2-chinese針對提高中文對話能力進行調優的 Llama 2 基礎模型
dolphin-llama3Dolphin 2.9 是由 Eric Hartford 開發的基於 Llama 3 的新模型,具備多種指令、對話和編碼技能
vicuna基於 Llama 和 Llama 2 的通用聊天模型,具有2K到16K上下文大小
wizard-vicuna-uncensoredWizard Vicuna Uncensored 是基於 Llama 2 未經審查的模型,有7B、13B和30B參數大小
yiYi 1.5 是一個高性能的雙語語言模型
mxbai-embed-largeMixedbread.ai 的先進大嵌入模型
wizardlm2微軟 AI 的先進大型語言模型,改進了複雜聊天、多語言、推理和代理用例的性能
tinyllamaTinyLlama 項目是一個訓練緊湊型1.1B Llama 模型的開源計劃,訓練於三萬億標記
starcoderStarCoder 是一個訓練於80多種編程語言的代碼生成模型
openhermesOpenHermes 2.5 是 Teknium 在 Mistral 上進行調優的7B模型,使用完全開放的數據集
openchat一系列經過各種數據訓練的開源模型,在各種基準測試中超越了 ChatGPT,更新到版本3.5-0106
tinydolphinEric Hartford 基於 TinyLlama 開發的實驗性1.1B參數模型,訓練於新的 Dolphin 2.8 數據集
wizardcoder最先進的代碼生成模型
stable-codeStable Code 3B 是一個編碼模型,具有指令和代碼補全變體,性能媲美 Code Llama 7B 這類2.5倍大的模型
neural-chat基於 Mistral 的調優模型,具有良好的領域和語言覆蓋
wizard-math專注於數學和邏輯問題的模型
phind-codellama基於 Code Llama 的代碼生成模型
starling-lmStarling 是一個通過AI反饋進行強化學習訓練的大型語言模型,專注於改善聊天機器人的幫助性
stablelm2Stable LM 2 是先進的1.6B和12B參數語言模型,訓練於英語、西班牙語、德語、意大利語、法語、葡萄牙語和荷蘭語的多語言數據上
codestralCodestral 是 Mistral AI 的首個代碼模型,設計用於代碼生成任務
codeqwenCodeQwen1.5 是一個大型語言模型,預訓練於大量代碼數據上
dolphincoder基於 StarCoder2 的7B和15B未經審查的 Dolphin 模型變體,擅長編碼任務
nous-hermesNous Research 基於 Llama 和 Llama 2 的通用模型
falcon由技術創新研究所 (TII) 建造的大型語言模型,用於總結、文本生成和聊天機器人
sqlcoderSQLCoder 是一個針對SQL生成任務在 StarCoder 上調優的代碼補全模型
orca2由微軟研究院開發的 Orca 2,Meta 的 Llama 2 模型的調優版本,特別擅長推理任務
deepseek-llm使用兩萬億雙語標記精心製作的先進語言模型
solar一個緊湊但強大的10.7B大型語言模型,設計用於單輪對話
yarn-llama2支持多達128k標記上下文的 Llama 2 擴展版本
dolphin-phi由 Eric Hartford 開發的基於微軟研究院 Phi 語言模型的2.7B未經審查的 Dolphin 模型
llama3-gradient該模型將 LLama-3 8B 的上下文長度從8k延伸到超過1M標記
xwinlm基於 Llama 2 的對話模型,在各種基準測試中表現出色
all-minilm在非常大的句子級

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

返回頂端