ChatGPT寫文章調(diào)代碼，文心一言巧解雞兔同籠數(shù)學(xué)題，Microsoft 365Copilot幫“打工人”做PPT，Midjourney V5繪制的20世紀(jì)90年代中國情侶刷屏朋友圈……人工智能領(lǐng)域的大事一件接著一件，令人欣喜，也引人擔(dān)憂。擔(dān)心被AI“搶飯碗”，擔(dān)心AI發(fā)展過快超出人類管控的能力范圍。

最近，包括“ChatGPT之父”、OpenAI創(chuàng)始人兼CEO山姆·阿爾特曼，谷歌DeepMind公司CEO戴密斯·哈薩比斯以及美國Anthropic公司的CEO達(dá)里奧·阿莫代伊在內(nèi)的一眾AI界大佬聯(lián)名簽署了一封公開信，信的內(nèi)容很短，加上the和a在內(nèi)僅有22個(gè)單詞。字?jǐn)?shù)少，但信息量很大。信中這樣說：“與流行病和核戰(zhàn)爭等其他社會(huì)規(guī)模的風(fēng)險(xiǎn)一樣，緩解人工智能導(dǎo)致的滅絕風(fēng)險(xiǎn)應(yīng)該被視作全球的優(yōu)先事項(xiàng)。”信中把AI提到了與流行病和核戰(zhàn)爭同樣的級(jí)別，足以見得AI野蠻生長帶來的問題的嚴(yán)重性。比如AI系統(tǒng)設(shè)計(jì)不當(dāng)或被惡意使用，可能會(huì)讓歧視和偏見不斷固化、虛假信息蔓延、隱私數(shù)據(jù)泄露……呼吁全球通力合作，對人工智能進(jìn)行規(guī)范與監(jiān)管，共同去應(yīng)對、去解決AI超速發(fā)展帶來的挑戰(zhàn)。

上一封著名的AI公開信是在3月底，距離GPT-4發(fā)布僅兩周時(shí)間。包括特斯拉CEO埃隆·馬斯克在內(nèi)的1000多名企業(yè)高管、學(xué)界專家聯(lián)署發(fā)表公開信，呼吁所有AI實(shí)驗(yàn)室立即暫停訓(xùn)練比GPT-4更強(qiáng)大的AI系統(tǒng)，暫停至少6個(gè)月。

【資料圖】

為什么全球頂尖AI公司的高管和學(xué)界大咖要呼吁限制AI發(fā)展，他們在擔(dān)心些什么？或許是AI快速發(fā)展在帶給人們驚喜的同時(shí)也帶來了未知，有些問題甚至連開發(fā)者本身都無能為力。

近日，在2023北京智源大會(huì)上，阿爾特曼呼吁全球各方就AI安全問題通力合作，建立國際通行的AI安全標(biāo)準(zhǔn)，并推進(jìn)人工智能對齊（AI alignment，即引導(dǎo)AI系統(tǒng)的表現(xiàn)，使其符合設(shè)計(jì)者的預(yù)期目標(biāo)）研究。他提出，可以嘗試使用AI系統(tǒng)輔助人類來監(jiān)督其他AI系統(tǒng)。以未來的AGI（通用人工智能）系統(tǒng)為例，可能包含10萬行的二進(jìn)制代碼，人類有必要借助AI來輔助監(jiān)督，判別系統(tǒng)是否存在違規(guī)行為。除了必要性之外，這種方法的好處在于，伴隨AI技術(shù)的突破，AI監(jiān)管技術(shù)也在同步發(fā)展。

在與智源研究院理事長張宏江圍繞“AI安全與對齊”議題的問答討論中，阿爾特曼談到，未來十年內(nèi)，全球很可能擁有一個(gè)非常強(qiáng)大的AI系統(tǒng)，屆時(shí)人類會(huì)面臨很多安全問題，因此，要從現(xiàn)在開始做好準(zhǔn)備。他強(qiáng)調(diào)，對于AI安全而言，建立統(tǒng)一公平的框架和測試標(biāo)準(zhǔn)，讓每個(gè)達(dá)到一定能力的AI模型都接受測試具有重要意義。他表示，解決AI對齊問題難度極大，需要來自世界各地最好的頭腦，并稱中國有很多優(yōu)秀的人工智能人才，期待中國AI研究者能為AI安全提供中國智慧。

請掃碼觀看視頻

劃重點(diǎn)！關(guān)于AI對齊

什么是AI對齊？

AI對齊（AI alignment）是AI控制問題中的一個(gè)主要問題，即要求AI系統(tǒng)的目標(biāo)要和人類的價(jià)值觀與利益保持一致。

實(shí)現(xiàn)AI對齊面臨哪些挑戰(zhàn)？

◆ 選擇合適的價(jià)值觀

◆ 將價(jià)值觀編碼到AI系統(tǒng)中，使系統(tǒng)表現(xiàn)與價(jià)值觀一致

◆ 選擇合適的訓(xùn)練數(shù)據(jù)

AI對齊的研究方法

DeepMind和OpenAI圍繞AI對齊分別從“提出合適的價(jià)值觀”和“用技術(shù)方法實(shí)現(xiàn)對齊”兩方面進(jìn)行研究。

在用技術(shù)方法實(shí)現(xiàn)對齊方面，DeepMind提出了一種基于“逆強(qiáng)化學(xué)習(xí)（Inverse Reinforcement Learning）”的方法，該方法關(guān)注人類的行為，能夠從行為表現(xiàn)中推斷出價(jià)值觀，并將其編碼到AI系統(tǒng)中。OpenAI則提出了一種基于“對抗訓(xùn)練（Adversarial Training）”的方法，通常用于增強(qiáng)模型的魯棒性和泛化能力，該方法可以讓AI系統(tǒng)在與人進(jìn)行交互時(shí)學(xué)習(xí)到人類的價(jià)值觀。

逆強(qiáng)化學(xué)習(xí)的關(guān)注點(diǎn)在于人類的行為，從行為表現(xiàn)推斷價(jià)值觀；而對抗訓(xùn)練的重點(diǎn)是交互，從AI系統(tǒng)與人的交互中學(xué)習(xí)價(jià)值觀。

關(guān)鍵詞：