陸奇博士的主題演講《新范式 新時代 新機會》非常震撼人心。我遠程參加了深圳站和北京站兩場演講，深受感觸。雖然了解大模型的機制和原理以了解新的范式非常重要，但是“行勝于言”，基于大模型的眾多應(yīng)用都需要工程技術(shù)才能落地。然而，工程技術(shù)的重要性往往被忽視，認(rèn)為只要有資源就可以實現(xiàn)。實際上，這可能是對技術(shù)本身缺少了敬畏。

那么，LLM在工程實踐中會涉及哪些問題和挑戰(zhàn)呢？

(資料圖片)

1. 從機器學(xué)習(xí)實踐到大模型的工程實踐

從工程實現(xiàn)的角度來看，“機器學(xué)習(xí)的持續(xù)交付”可以參見下圖：

在《機器學(xué)習(xí)系統(tǒng)架構(gòu)的10個要素》一文中，也描述了機器學(xué)習(xí)系統(tǒng)架構(gòu)的工程流水線。其中，模型的監(jiān)控是指從數(shù)據(jù)科學(xué)和操作角度追蹤和了解我們的模型在生產(chǎn)環(huán)境中的性能。監(jiān)控不充分可能會導(dǎo)致在生產(chǎn)環(huán)節(jié)中留下不正確的模型、陳舊模型或模型中的細(xì)微錯誤隨著時間的推移而累積，卻未被發(fā)現(xiàn)。當(dāng)機器學(xué)習(xí)是業(yè)務(wù)核心時，無法捕捉到這些錯誤可能會導(dǎo)致重大的事故。

LLM 工程實現(xiàn)指在生產(chǎn)環(huán)境中管理和部署LLM的最佳實踐、工具和技術(shù)集合，下面的圖片展示了基于大模型的工程架構(gòu)。

實現(xiàn)大模型的工程涉及到一系列任務(wù)，包括數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型管理、部署和監(jiān)控。由于大模型的尺寸和復(fù)雜性較大，同時需要確保其可靠性、安全性和可解釋性，因此大模型的工程實踐可能面臨更多的挑戰(zhàn)。

2. LLM工程實踐的關(guān)鍵環(huán)節(jié)

LLM工程實踐涉及了諸多環(huán)節(jié)，主要包括訓(xùn)練、模型管理、數(shù)據(jù)管理、調(diào)試和故障排除、部署以及生產(chǎn)環(huán)境中的LLM。其中涉及到的關(guān)鍵點包括硬件選擇、數(shù)據(jù)預(yù)處理、算法選擇、版本控制、數(shù)據(jù)隱私和合規(guī)性、負(fù)載均衡、自動擴展、容器化、K8S、監(jiān)控工具、持續(xù)集成和持續(xù)交付等。

2.1 LLM 的訓(xùn)練

LLM需要大量的計算資源來進行訓(xùn)練。選擇正確的硬件可以對訓(xùn)練時間和成本產(chǎn)生重大影響。GPU、TPU和基于云的計算是LLM訓(xùn)練的常見選擇。

數(shù)據(jù)預(yù)處理是LLM訓(xùn)練的重要步驟。因為它可以影響模型的質(zhì)量和性能。預(yù)處理技術(shù)，如標(biāo)記化、規(guī)范化和清理等，可以提高訓(xùn)練數(shù)據(jù)的質(zhì)量。優(yōu)化訓(xùn)練數(shù)據(jù)流程也可以加快訓(xùn)練過程并降低成本。

LLM可以使用各種算法進行訓(xùn)練，如LSTM、Transformer和BERT。每種算法都有其優(yōu)點和缺點。選擇正確的算法和超參數(shù)對于實現(xiàn)良好的性能并避免過度擬合或欠擬合至關(guān)重要。

監(jiān)控訓(xùn)練進度很重要，以確保模型正在收斂而不是陷入局部最小值。跟蹤損失、準(zhǔn)確度和困惑度等度量指標(biāo)可以幫助盡早識別問題并改善訓(xùn)練過程。

2.2 LLM 的模型管理

從保存和加載到版本控制，再到可重現(xiàn)性，需要深入探討管理大語言模型的最佳實踐。

保存和加載LLM模型是模型管理的重要部分，它使模型得以重復(fù)利用，減少了重新訓(xùn)練的需求。TensorFlow的 SavedModel和ONNX等格式通常用于保存LLM模型。

版本控制LLM模型對于跟蹤變更和保持可重復(fù)性至關(guān)重要。Git和MLFlow等工具可以幫助管理LLM模型的版本控制。

在科學(xué)和業(yè)務(wù)應(yīng)用中，可重復(fù)性非常重要。容器化、虛擬化和可重復(fù)的流程等技術(shù)可以幫助確保LLM模型的可重現(xiàn)性。

2.3 LLM的數(shù)據(jù)管理

數(shù)據(jù)是LLM開發(fā)的支柱，有效管理對于開發(fā)準(zhǔn)確可靠的LLM模型至關(guān)重要。在LLM Ops中進行數(shù)據(jù)管理時，一些關(guān)鍵考慮因素包括：

準(zhǔn)備和清洗數(shù)據(jù)：準(zhǔn)備和清洗數(shù)據(jù)涉及將原始數(shù)據(jù)轉(zhuǎn)換成可用于LLM訓(xùn)練和推理的格式。這包括數(shù)據(jù)歸一化、特征工程和數(shù)據(jù)增強等任務(wù)。確保數(shù)據(jù)質(zhì)量和一致性：確保數(shù)據(jù)高質(zhì)量和一致性對于開發(fā)準(zhǔn)確的LLM模型至關(guān)重要。這涉及數(shù)據(jù)驗證和質(zhì)量控制措施，如異常值檢測和數(shù)據(jù)分析。管理數(shù)據(jù)隱私和合規(guī)性：在處理敏感或個人數(shù)據(jù)時，數(shù)據(jù)隱私和合規(guī)性是必要的考慮因素。這包括實施數(shù)據(jù)安全措施，如加密和訪問控制，并遵守數(shù)據(jù)隱私法規(guī)，例如GDPR和《個保法》。

有效的數(shù)據(jù)管理需要數(shù)據(jù)科學(xué)家、工程師和利益相關(guān)者之間的協(xié)作，以確保數(shù)據(jù)清潔、可靠和道德采集。投資于數(shù)據(jù)管理工具和流程可以幫助簡化數(shù)據(jù)準(zhǔn)備和驗證任務(wù)，并提高LLM模型的質(zhì)量。

2.4 LLM的調(diào)試和故障排除

調(diào)試和故障排除是LLM開發(fā)過程中必不可少的部分。以下是一些解決LLM常見錯誤的策略：

識別和解決LLM常見錯誤：LLM中常見的錯誤可能包括輸入數(shù)據(jù)的問題、模型架構(gòu)的問題以及代碼中的錯誤。仔細(xì)的測試和調(diào)試可以幫助識別和解決這些問題。調(diào)試LLM訓(xùn)練和推斷問題：調(diào)試LLM訓(xùn)練和推斷問題可能很具有挑戰(zhàn)性，因為這些問題可能與數(shù)據(jù)、模型架構(gòu)或優(yōu)化過程有關(guān)。重要的是要仔細(xì)監(jiān)控訓(xùn)練過程并使用診斷工具及時識別問題。開發(fā)強大的LLM測試策略：測試對于確保LLM的可靠性和準(zhǔn)確性至關(guān)重要。強大的測試策略應(yīng)包括單元測試和集成測試，以及對輸入和輸出數(shù)據(jù)的全面驗證。2.5 LLM的部署

部署LLM需要可靠且可擴展的基礎(chǔ)設(shè)施，可以處理LLM推理的計算需求。AWS、GCP、Azure、百度云等云解決方案是部署LLM的流行選擇。

LLM的部署涉及將負(fù)載分布在多個服務(wù)器或節(jié)點上，以處理高流量并確保低延遲。負(fù)載均衡、自動擴展和分片等技術(shù)可以幫助擴展LLM部署。

管理和監(jiān)控LLM部署對于確?？煽啃浴踩院托阅苤陵P(guān)重要。容器化、Kubernetes和監(jiān)控工具（如Prometheus和Grafana）等技術(shù)可幫助管理和監(jiān)控LLM部署。下面的架構(gòu)描述了AWS上的一般部署流程。

2.6 生產(chǎn)環(huán)境中的LLM

在生產(chǎn)環(huán)境中部署LLM模型需要對軟件開發(fā)流程、版本控制和測試進行仔細(xì)管理。為了實現(xiàn)LLM模型的持續(xù)集成和持續(xù)交付，需要考慮以下內(nèi)容：

將 LLM 模型集成到現(xiàn)有工作流程中，需要將其集成到現(xiàn)有的軟件開發(fā)工作流程中，例如基于 Git 的版本控制系統(tǒng)和持續(xù)集成平臺。自動化集成和交付（CI/CD）是 LLM 整體工作流程的重要組成部分。為了確保 LLM 模型能夠高效、有效地部署，將它們集成到現(xiàn)有工作流程并自動化部署流水線非常重要。這允許持續(xù)交付新的 LLM 模型和更新現(xiàn)有模型，確保它們始終保持最新狀態(tài)并執(zhí)行最佳。

為了將 LLM 模型集成到現(xiàn)有工作流程中，重要的是要清楚地了解 LLM 模型的依賴關(guān)系和要求，以及現(xiàn)有基礎(chǔ)架構(gòu)和系統(tǒng)。這可能涉及與 IT 團隊和 DevOps 工程師密切合作，以確保 LLM 模型可以無縫、安全地部署。

自動化部署管道是 LLM 的 CI/CD 的另一個重要方面。這涉及使用工具和技術(shù)，例如 Jenkins、Travis CI 或 GitLab CI/CD，自動化 LLM 模型的構(gòu)建、測試和部署過程。這可以幫助減少錯誤，并確保 LLM 模型在不同環(huán)境中快速且一致地部署。

管理 LLM 模型的版本和回滾也是至關(guān)重要的，以確保 LLM 模型始終按預(yù)期執(zhí)行。這涉及使用版本控制系統(tǒng)，如 Git，跟蹤對 LLM 模型的更改，并在必要時回滾到以前的版本。這還涉及使用監(jiān)控和日志記錄工具來跟蹤 LLM 模型在生產(chǎn)中的性能并快速識別問題。

總體而言，CI/CD 是 LLM 工程實踐的關(guān)鍵部分，它確保了 LLM 模型快速高效地部署，并始終保持最新且性能最佳。通過將 LLM 模型集成到現(xiàn)有工作流程中，自動化部署管道以及管理版本和回滾，團隊可以確保其 LLM 模型安全可靠地部署。

3. LLM 工程實踐中的非功能性需求

LLM 工程實踐中的非功能性需求主要包括處理模型和數(shù)據(jù)的安全性、提高模型的可解釋性和解釋能力、以及性能優(yōu)化的關(guān)鍵策略，包括微調(diào)LLM、壓縮、量化和知識蒸餾LLM模型、優(yōu)化推理時間、使用緩存等技術(shù)。

3.1 LLM的安全性考量

基于尺寸、復(fù)雜性和敏感數(shù)據(jù)的處理能力，LLM面臨著獨特的安全挑戰(zhàn)。為了確保LLM模型和數(shù)據(jù)的安全，需要考慮以下問題：

保護LLM模型和數(shù)據(jù)：這包括實施訪問控制、加密和安全數(shù)據(jù)存儲，以防止未經(jīng)授權(quán)的訪問LLM模型和數(shù)據(jù)。審計LLM使用情況：重要的是要跟蹤誰在訪問LLM模型和數(shù)據(jù)以及為什么目的。這有助于檢測和防止LLM的未經(jīng)授權(quán)使用或濫用。管理對LLM模型的訪問：需要確保只有經(jīng)過授權(quán)的用戶和應(yīng)用程序才能訪問LLM模型。這涉及設(shè)置身份驗證和授權(quán)機制，以及實施防火墻和網(wǎng)絡(luò)隔離。3.2 LLM的可解釋性和解釋能力

由于其復(fù)雜性和缺乏透明度，LLM通常被認(rèn)為是“黑匣子”。然而，其可解釋性和解釋能力對于確保LLM模型的信任和問責(zé)是必不可少的。

為了實現(xiàn)可解釋性和解釋能力，需要考慮下圖中展示的原則:

我們需要了解LLM模型的內(nèi)部工作原理，以解釋其輸出并向利益相關(guān)者解釋決策。這包括使用特征重要性分析、歸因方法和可視化等技術(shù)來了解LLM模型如何進行預(yù)測。我們還需要利用可解釋性工具，如LIME、SHAP和集成梯度，來分析LLM模型并確定改進的領(lǐng)域。

3.3 LLM 的優(yōu)化技術(shù)

優(yōu)化LLM一般包括三個方面：微調(diào)LLM以適用于特定任務(wù)，壓縮、量化和知識蒸餾LLM模型以提高其可擴展性和部署性，以及優(yōu)化LLM性能的關(guān)鍵策略，包括優(yōu)化推理時間、使用緩存等技術(shù)以及在準(zhǔn)確性和速度之間權(quán)衡。

3.3.1 LLM的微調(diào)

LLM可以通過在特定任務(wù)上訓(xùn)練它們來進行微調(diào)，以便利用預(yù)訓(xùn)練LLM模型所學(xué)習(xí)的知識和參數(shù)來進行特定應(yīng)用。為了微調(diào)LLM，需要考慮以下內(nèi)容：

選擇合適的預(yù)訓(xùn)練LLM模型，并使用特定任務(wù)的數(shù)據(jù)集對其進行微調(diào)。嘗試不同的微調(diào)方法和超參數(shù)，以獲得最佳結(jié)果。使用適當(dāng)?shù)闹笜?biāo)和驗證技術(shù)評估微調(diào)的LLM模型的性能。3.3.2 LLM的模型優(yōu)化

由于LLM（語言模型）可能需要大量計算和資源，這可能會限制它們在生產(chǎn)環(huán)境中的可擴展性和部署。為了優(yōu)化LLM，需要考慮以下幾點：

壓縮LLM模型：這涉及使用修剪、量化和知識蒸餾等技術(shù)來減小LLM模型的大小，而不會影響其性能。量化LLM模型：這涉及將LLM模型從浮點算術(shù)轉(zhuǎn)換為定點算術(shù)，以減小它們的內(nèi)存占用并提高它們的推理時間。對LLM使用知識蒸餾：這涉及訓(xùn)練一個較小、更簡單的模型（學(xué)生）來模仿一個較大、更復(fù)雜的模型（教師）的行為。3.3.3 LLM的性能優(yōu)化

LLM通常需要大量的計算資源，因此優(yōu)化它們的性能是確保它們能夠在實際應(yīng)用中有效使用的關(guān)鍵。以下是一些優(yōu)化LLM性能的關(guān)鍵策略：

優(yōu)化LLM推理時間：影響LLM性能的主要因素之一是處理輸入和生成輸出所需的推理時間。有許多技術(shù)可以優(yōu)化推理時間，包括修剪未使用的神經(jīng)元，減少精度和使用高效硬件加速器。對LLM使用緩存和記憶化技術(shù)：緩存和記憶化可以通過存儲先前計算的結(jié)果并在可能時重復(fù)使用它們來減少LLM推理過程中所需的計算量。這對于處理具有高度重疊的輸入的LLM尤其有效。在LLM的準(zhǔn)確性和速度之間權(quán)衡：在某些情況下，為了實現(xiàn)更快的推理時間，可能需要犧牲一定程度的準(zhǔn)確性。在優(yōu)化LLM性能時，需要仔細(xì)考慮準(zhǔn)確性和速度之間的權(quán)衡。4. LLM與邊緣計算

隨著人工智能領(lǐng)域的不斷發(fā)展，實時決策和推理在網(wǎng)絡(luò)邊緣的需求變得越來越重要。這導(dǎo)致了邊緣計算的出現(xiàn)。邊緣計算指的是在網(wǎng)絡(luò)邊緣的設(shè)備上處理數(shù)據(jù)，而不是在集中式數(shù)據(jù)中心中處理。

LLM具有在邊緣計算中極具潛力的優(yōu)勢，因為它們能夠?qū)崟r處理自然語言輸入并快速生成準(zhǔn)確的響應(yīng)。然而，在邊緣設(shè)備上部署LLM模型還存在一些必須解決的挑戰(zhàn)。

為了在邊緣設(shè)備上部署LLM模型，首先必須將其優(yōu)化為在計算資源有限的設(shè)備上高效運行。這包括縮小模型的大小并最小化其內(nèi)存和處理要求。一旦模型被優(yōu)化，它就可以部署在邊緣設(shè)備上。

在邊緣設(shè)備上運行LLM的主要挑戰(zhàn)之一是這些設(shè)備上可用的計算資源有限。LLM模型通常非常大，需要大量的存儲器和處理能力來運行。為了克服這個挑戰(zhàn)，可以使用模型壓縮、量化和修剪等技術(shù)來減小模型的大小并使其更加高效。另一個挑戰(zhàn)是在邊緣設(shè)備上運行LLM時需要保持?jǐn)?shù)據(jù)隱私和安全。這可以通過聯(lián)邦學(xué)習(xí)等技術(shù)來解決，該技術(shù)允許在邊緣設(shè)備上訓(xùn)練模型而不暴露敏感數(shù)據(jù)。

在物聯(lián)網(wǎng)和機器人等行業(yè)中，LLM在邊緣設(shè)備上具有許多潛在的用例和好處。例如，LLM可以用于實時處理自然語言輸入并在智能音箱、聊天機器人和語音助手等設(shè)備上生成響應(yīng)。在機器人領(lǐng)域，LLM可以用來使機器人能夠?qū)崟r理解和響應(yīng)自然語言輸入，使它們更具響應(yīng)性和易于交互。LLM也可以用于物聯(lián)網(wǎng)設(shè)備，以實現(xiàn)傳感器數(shù)據(jù)的實時自然語言處理，從而更容易實時監(jiān)控和控制設(shè)備。

總體而言，在邊緣設(shè)備上部署LLM模型既帶來了挑戰(zhàn)，也帶來了機會。通過為邊緣計算優(yōu)化LLM模型并解決數(shù)據(jù)隱私和安全等問題，可以釋放LLM在物聯(lián)網(wǎng)和機器人等行業(yè)的潛力，并在網(wǎng)絡(luò)邊緣實現(xiàn)實時自然語言處理。

5. LLM 工程實踐中的非技術(shù)問題

在LLM工程實踐中，有效的協(xié)作與溝通至關(guān)重要，可以通過版本控制、代碼審查和問題跟蹤等工具來促進。同時，確保LLM模型符合倫理和公正使用也是必要的，包括確保公正性和無偏見、減輕意外傷害的風(fēng)險和遵守道德和法律標(biāo)準(zhǔn)等方面。

5.1 LLM工程實踐中的協(xié)作與溝通

有效的協(xié)作與溝通是成功的LLM工程實踐的關(guān)鍵。不同團隊和利益相關(guān)者之間的協(xié)作對于確保LLM有效開發(fā)和部署至關(guān)重要。版本控制、代碼審查和問題跟蹤等工具可以幫助促進協(xié)作。重要的是以易于理解和接受的方式向非技術(shù)人員傳達LLM的結(jié)果。這可能需要使用可視化、摘要或其他工具來傳達復(fù)雜信息。

這是一個不斷發(fā)展的領(lǐng)域，重要的是擁抱實驗和持續(xù)改進的文化。這可能涉及嘗試新技術(shù)、測試新想法并向利益相關(guān)者征求反饋。

5.2 LLM 工程實踐中的公正與倫理

LLM模型有可能對人們的生活產(chǎn)生重大影響。因此，確保它們符合倫理和公正使用至關(guān)重要。

確保LLM模型公正和無偏見：LLM模型的公正性和準(zhǔn)確性對其有效使用至關(guān)重要。偏見可能會由于各種因素而潛入LLM模型，例如有偏見的訓(xùn)練數(shù)據(jù)或不適當(dāng)?shù)奶卣鬟x擇。有必要定期審計LLM模型，以識別和減輕偏見。減輕LLM模型意外傷害的風(fēng)險：LLM模型有可能造成意外傷害，例如侵犯隱私、安全漏洞以及對弱勢群體產(chǎn)生負(fù)面影響。有必要進行徹底的風(fēng)險評估，以識別潛在的傷害，并采取適當(dāng)?shù)拇胧┯枰詼p輕。遵守LLM的道德和法律標(biāo)準(zhǔn)：LLM模型必須遵守道德和法律標(biāo)準(zhǔn)。這包括遵守數(shù)據(jù)隱私規(guī)定，在LLM模型的決策過程中確保透明度，并考慮LLM模型對社會的潛在影響。組織必須采取積極的措施，確保其LLM模型符合道德和法律標(biāo)準(zhǔn)。

下面的圖片詳細(xì)描述了人工智能倫理的各種原則。

6. LLM 工程實踐面臨的其他挑戰(zhàn)

基于LLM的工程實踐是一個不斷發(fā)展的領(lǐng)域，不斷有新的趨勢和進展。跟上新研究和新開發(fā)的節(jié)奏對于保持相關(guān)和競爭力同樣至關(guān)重要。一些新興趨勢包括：

AutoML：AutoML工具可以自動化LLM開發(fā)的幾個方面，從數(shù)據(jù)預(yù)處理到超參數(shù)調(diào)整。這可以使LLM開發(fā)更快速和更可訪問。聯(lián)邦學(xué)習(xí)：聯(lián)邦學(xué)習(xí)是一種隱私保護的LLM訓(xùn)練方法，允許在設(shè)備上本地訓(xùn)練數(shù)據(jù)而不離開設(shè)備。這有潛力改善隱私和數(shù)據(jù)所有權(quán)，同時也減少了訓(xùn)練所需的數(shù)據(jù)量。Few-Shot和Zero-Shot學(xué)習(xí)：這些技術(shù)旨在訓(xùn)練具有有限或沒有數(shù)據(jù)的模型，在低資源環(huán)境中可以有益。多模態(tài)學(xué)習(xí)：多模態(tài)學(xué)習(xí)涉及訓(xùn)練LLM理解不同類型的數(shù)據(jù)，例如文本、圖像和音頻。這對于開發(fā)更復(fù)雜和多樣化的應(yīng)用程序非常有用。

然而，新的進步帶來了新的挑戰(zhàn)，這些挑戰(zhàn)包括：

模型偏差：LLM模型中的偏差可能由各種因素引起，例如有偏的訓(xùn)練數(shù)據(jù)或有偏的模型架構(gòu)。這可能導(dǎo)致意外后果和不公平的結(jié)果。模型可解釋性：隨著LLM模型變得越來越復(fù)雜，了解它們?nèi)绾巫龀鰶Q策可能是一個挑戰(zhàn)。模型可解釋性技術(shù)對于確保LLM模型能夠被理解和信任至關(guān)重要。安全和隱私：隨著LLM模型變得越來越有價值，確保它們的安全和隱私變得更加關(guān)鍵。這包括保護LLM模型和數(shù)據(jù)、管理對LLM模型的訪問以及審核LLM使用。

為了為未來的LLM工程實踐做好準(zhǔn)備，需要跟上新興趨勢和技術(shù)的步伐，同時解決即將出現(xiàn)的挑戰(zhàn)。投資研究和開發(fā)、采用新技術(shù)和工具、確保LLM模型的道德和公正使用，這些都是保持領(lǐng)先地位的必要條件。

7.小結(jié)

LLM 已經(jīng)徹底改變了人工智能領(lǐng)域。LLM 的工程實踐是確保這些模型有效開發(fā)、部署和管理的關(guān)鍵方面。LLM 在改善各種應(yīng)用的能力方面具有巨大的潛力，但也提出了獨特的挑戰(zhàn)。面向數(shù)據(jù)管理、模型訓(xùn)練和調(diào)整、部署、解釋、測試、安全、CI/CD、監(jiān)控和日志記錄以及治理和合規(guī)等關(guān)鍵領(lǐng)域，我們需要確保 LLM 在生產(chǎn)環(huán)境中的可靠性、安全性和性能。

隨著 LLM 在各個行業(yè)的日益普及，保持與最新的 LLM 進展和最佳實踐的同步是至關(guān)重要的，以確保這些模型在遵守道德和法律標(biāo)準(zhǔn)的同時提供準(zhǔn)確可靠的結(jié)果。

【參考資料】

Continuous Delivery for Machine Learning，https://martinfowler.com/articles/cd4ml.htmlDeploy Models for Inference，https://docs.aws.amazon.com/sagemaker/latest/dg/deploy-model.html文心·NLP大模型，https://wenxin.baidu.com/wenxin/nlp

關(guān)鍵詞：