一、國產(chǎn)大模型進(jìn)入應(yīng)用拐點(diǎn)，開啟AI應(yīng)用元年

DeepSeek橫空出世，大模型技術(shù)拐點(diǎn)已至，技術(shù)突破引爆應(yīng)用革命。DeepSeek開啟了大模型應(yīng)用的潘多拉盒子?，F(xiàn)在是大模型應(yīng)用的黃金時(shí)期。

1、DeepSeek V3/R1開源，大模型性能好，推理成本低。應(yīng)用大模型的門檻降下來了，一統(tǒng)了中國大模型江湖。

2、AI Agent成了大模型應(yīng)用公認(rèn)的應(yīng)用形式，企業(yè)現(xiàn)在切入AI Agent應(yīng)用正當(dāng)時(shí)。

二、政務(wù)需求定制化的知識(shí)庫治理和AI agent應(yīng)用開發(fā)

原因是通用的基礎(chǔ)大模型基本無法滿足我們的實(shí)際業(yè)務(wù)需求。必須做知識(shí)庫治理，做提示詞工程設(shè)計(jì)，做agent開發(fā)，做工作流重構(gòu)，拆解成數(shù)字人員工崗位。

1、有以下有幾方面原因：

1）知識(shí)的局限性：（缺企業(yè)私有知識(shí)庫）

模型自身的知識(shí)完全源于它的訓(xùn)練數(shù)據(jù)，而現(xiàn)有的大模型的訓(xùn)練集基本都是構(gòu)建于網(wǎng)絡(luò)公開的數(shù)據(jù)，對于一些實(shí)時(shí)性的、非公開的或離線的數(shù)據(jù)是無法獲取到的，這部分知識(shí)也就無從具備。

2）幻覺問題：（沒有私有知識(shí)庫，幻覺無法抑制）

所有的AI模型的底層原理都是基于數(shù)學(xué)概率，其模型輸出實(shí)質(zhì)上是一系列數(shù)值運(yùn)算，大模型也不例外，所以它有時(shí)候會(huì)一本正經(jīng)地胡說八道，尤其是在大模型自身不具備某一方面的知識(shí)或不擅長的場景。而這種幻覺問題的區(qū)分是比較困難的，因?yàn)樗笫褂谜咦陨砭邆湎鄳?yīng)領(lǐng)域的知識(shí)。

三、政企為啥要私有化部署

1、數(shù)據(jù)安全性：

對于企業(yè)來說，數(shù)據(jù)安全至關(guān)重要，沒有企業(yè)愿意承擔(dān)數(shù)據(jù)泄露的風(fēng)險(xiǎn)，將自身的私域數(shù)據(jù)上傳第三方平臺(tái)進(jìn)行訓(xùn)練。這也導(dǎo)致完全依賴通用大模型自身能力的應(yīng)用方案不得不在數(shù)據(jù)安全和效果方面進(jìn)行取舍。

四、硬件配置選擇和應(yīng)用選擇

DeepSeek模型能力分級(jí)適用使用場景：

1、嘗鮮版

1）PC帶一張英偉達(dá)4090卡，輕量級(jí)推理版本14B

2）個(gè)人辦公助理，代碼補(bǔ)齊，文檔處理

2、政企辦公助手

1）英偉達(dá)八卡4090一體機(jī)/H20，或者昇騰910B八卡一臺(tái)，標(biāo)準(zhǔn)級(jí)推理版本32B/70B
2）文檔生成，會(huì)議紀(jì)要記錄，報(bào)告整理，代碼輔助
 
3、政企生產(chǎn)應(yīng)用

1）一臺(tái)8卡H20/H800，信創(chuàng)：兩臺(tái)臺(tái)昇騰八卡910B，專業(yè)級(jí)推理版本（滿血版671B）
2）企業(yè)需要的各類AI應(yīng)用都可以定制開發(fā)，不夠再橫向擴(kuò)展。

4、總結(jié)

政企用，兩個(gè)選擇，一個(gè)辦公助手，一個(gè)應(yīng)用開發(fā)。

1）32B/70B，

一臺(tái)英偉達(dá)4090/5090/H20，4卡/8卡

信創(chuàng)：一臺(tái)昇騰910B

2）滿血671B，

一臺(tái)英偉達(dá)H20/H800，8卡

信創(chuàng)兩臺(tái)/四臺(tái)昇騰910B

免責(zé)聲明：本文來源于“數(shù)字化轉(zhuǎn)型分享”公眾號(hào)，本文僅代表作者個(gè)人觀點(diǎn)，不代表薩科微及行業(yè)觀點(diǎn)，只為轉(zhuǎn)載與分享，支持保護(hù)知識(shí)產(chǎn)權(quán)，轉(zhuǎn)載請注明原出處及作者，如有侵權(quán)請聯(lián)系我們刪除。

企業(yè)咨詢和陪跑請掃碼聯(lián)系