編輯點評：將語言模型直接引入手機的安安裝應(yīng)用程序。

PocketPal AI本地大模型是卓版最新一個手機上直接運行的本地AI對話工具，這個軟件可以讓你無需連接網(wǎng)絡(luò)久等與其他的版本AI大模型進行聊天和交流，本地部署方法需要根據(jù)流程進行摸索，下載可以在本地增加一個最近十分熱門的安安裝deepseek，這樣就不會卡頓的卓版最新進行使用了。

部署方法

1.百度找到精品下載

2.在精品網(wǎng)中搜索PocketPal，版本點擊下載

3.打開軟件點擊Models，下載點+，安安裝點Hugging Face搜索大模型

4.盡量下載名字帶Q4_NL（4bit量化 normal 壓縮）的卓版最新模型，回答比較精準(zhǔn)。版本

5.解釋一下部分量化標(biāo)識命名規(guī)則：NL 平衡精度與速度（Normal）、下載M 中等優(yōu)化（middle）、安安裝 XS 極致壓縮（Extra Small）、卓版最新K 極限壓縮（K-special）、版本Qx 量化位數(shù)（手機上運行 Q4 最佳）。

6.在加載好模型後在Settings中把N PREDICT設(shè)置為4096。

如果遇到問題請發(fā)到評論區(qū)，我會試著解決。

PocketPal AI是什麼軟件

PocketPal AI 是一款袖珍型 AI 助手，由直接在手機上運行的小型語言模型 （SLM） 提供支持。PocketPal AI 專為 iOS 和 Android 設(shè)計，讓您無需互聯(lián)網(wǎng)連接即可與各種 SLM 進行交互。

軟件特色

離線 AI 協(xié)助：直接在您的設(shè)備上運行語言模型，無需互聯(lián)網(wǎng)連接。

模型靈活性：下載並在多個 SLM 之間進行交換，包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。

Auto Offload/Load：當(dāng)應(yīng)用程序在後臺運行時，通過卸載模型來自動管理內(nèi)存。

推理設(shè)置：自定義模型參數(shù)，如係統(tǒng)提示符、溫度、BOS 令牌和聊天模板。

實時性能指標(biāo)：在 AI 響應(yīng)生成期間查看每秒令牌數(shù)和每個令牌的毫秒數(shù)。

使用流程

下載模型

點擊漢堡菜單

導(dǎo)航到 “Models” 頁麵

選擇您想要的型號並點擊下載

加載模型

下載後，點擊 Load 將模型導(dǎo)入內(nèi)存。現(xiàn)在您可以聊天了！

技巧

在 iOS 設(shè)備上，Apple 的 GPU API （Metal） 默認處於激活狀態(tài)。如果您遇到任何問題，請嚐試停用它。

iOS 金屬

自動卸載/加載

為了保持設(shè)備平穩(wěn)運行，PocketPal AI 可以自動管理內(nèi)存使用情況：

在模型頁麵上啟用 “Auto Offload/Load” （默認情況下是）

該應(yīng)用程序?qū)⒃卺崤_卸載模型

當(dāng)您返回時，它會重新加載（對於較大的模型，請等待幾秒鍾）

高級設(shè)置

單擊 V 形圖標(biāo)可訪問高級 LLM 設(shè)置，例如：

溫度

BOS 代幣

聊天模板選項

等。

最後，讓我們聊聊吧！

加載模型後，前往 “聊天” 頁麵並開始與加載的模型交談！

此時還會顯示 generation performance （生成性能） 指標(biāo)。如果有興趣，請觀察聊天氣泡以獲取實時性能指標(biāo)：每秒令牌數(shù)和每個令牌的毫秒數(shù)。

重要提示：截至目前，我還沒有找到一種簡單的方法來從生成的響應(yīng)中選擇和複製文本，同時保留文本格式，尤其是 Markdown 支持。

同時，以下是當(dāng)前用於複製文本的選項：

段落級複製：長按特定段落可複製其內(nèi)容。

完整響應(yīng)複製：使用文本氣泡底部的複製圖標(biāo)複製 AI 生成的整個響應(yīng)。

我知道這些選項可能並不理想，這是我使用其他應(yīng)用程序的挫敗感之一。複製部分文本的困難曾經(jīng)是 ChatGPT 等聊天應(yīng)用程序特別煩人的方麵。

開發(fā)商： PocketPal AI 是使用 React Native 構(gòu)建的。找到一種平衡文本選擇和保留格式（尤其是 Markdown 支持）的簡單解決方案對我來說一直很棘手。如果您有這方麵的經(jīng)驗，我很樂意聽取您的意見！

更新日誌

v1.15.1

專長：支持Gemini 3.5閃光。

專長：提升美人魚圖的渲染穩(wěn)定性。

修複：修複 Markdown 內(nèi)聯(lián)數(shù)學(xué)渲染問題。

修複：修複 Claude 和 OpenAI 工具調(diào)用繼續(xù)過程中缺失的功能/工具調(diào)用塊。

修複：修正統(tǒng)計熱力圖中的日期漂移。

v1.13.0

變化

專長（店鋪）：在#629中為美國高級好友添加深度鏈接購買按鈕

feat（Android）：添加權(quán)重重裝切換，並在#637中優(yōu)化MMAP/重新打包

feat（perf）：在 #644 中添加內(nèi)存分析流水線

feat：在#597中添加兼容OpenAI的遠程服務(wù)器支持

來自 #633 的 Hosted Weblate 翻譯更新

翻譯更新來自托管Weblate，來源於#646

修正（Android）：在#645中正確調(diào)整外部顯示器的顯示密度

修複（存儲）：在 #630 中保留應(yīng)用重啟期間的用戶線程計數(shù)

修正#596中型號下拉菜單無法在短手機上滾動到底部的問題

版本 v1.11.16

變化

任務(wù)/更新 e2e 測試 2 by #541

修複方法：#543 中通過基於互助的串行化防止模型切換時的內(nèi)存泄漏

版本 v1.11.13 

任務(wù)：升級RN 0.82，llama.rn，並在#523修複

版本 v1.11.12

專長：在#515中將llama.rn升級至0.10.0-rc.3

版本 v1.11.11

變化

修複：通過 #504 將 llama.rn 更新到 0.9.2 版本

1.11.2

feat：重構(gòu)設(shè)備檢查 （GPU ...） 並在 #446 中為 OpenCL 要求添加詳細消息

版本 v1.10.24

壯舉：通過 #413 升級 llama.rn

v1.10.22

雜務(wù)：將應(yīng)用程序信息占位符圖標(biāo)替換為 #400

專長：在 #410 中升級 llama.rn

1.10.21

壯舉：添加UI控製

版本 v1.10.19

壯舉：通過 #393 升級 llama.rn

v1.10.17

壯舉：在 #381 中為 PAL 添加導(dǎo)入/導(dǎo)出

[壯舉]：改進中文本地化翻譯 （0715） by in #373

雜務(wù)：通過 #387 升級 llama.rn

v1.10.16

壯舉：在 #380 中同步 llama.rn -> llama.cpp以支持 LFM2

版本 v1.10.15

Feat： 新增思考控製

v1.10.13

修複：useChatSession 中聊天消息重複的問題

V1.10.9

Feat： 升級 llama.rn （因此llama.cpp） 以支持 GEMMA 3N by

1.10.7

壯舉：通過為視覺模型添加選擇退出

v1.10.0

更新 dependencys 

Feat： 改進中文本地化翻譯 

雜務(wù)：去掉多餘的 JA： '日本語 （JA）'

Feat： 通過 IN 為 Android 添加備份和恢複支持 

feat： 添加 Lookie Pal

1.9.4

修複（Android）：阻止 app resume 時恢複

feat： 如果 content 為空，則不渲染

修複：文本生成過程中 token 缺失/重複 

1.9.0

特點： 在中為門控模型訪問添加 HF 令牌身份驗證

1.8.15

Feat： 添加預(yù)設(shè)補全設(shè)置

1.8.12

feat： 添加 iPad 支持 by in #249

重構(gòu)：使用 IN #250 使用基於基準(zhǔn)測試的模型改進內(nèi)存需求檢查

feat： 添加 Thought 標(biāo)簽並同步 llama.rn by in #251

修複（iPad）：新增對 Upside Down Orientation 的支持 by IN #253

1.8.5

修複：改進 Android 版本跨 Edge 到 Edge Display 的實現(xiàn)

v1.6.9

修複：在 ChatGenerationSettingsSheet 中使用 processedSettings

1.6.7

修複（Android）：刪除 llama.rn 的 FP16 編譯器標(biāo)誌以解決 Deepseek