超級(jí)智能是一種假想的智能體，它的智能遠(yuǎn)遠(yuǎn)超過(guò)了最聰明和最有才華的人類。隨著機(jī)器智能的進(jìn)步，許多科學(xué)家、哲學(xué)家和技術(shù)專家重新探討了這種實(shí)體可能帶來(lái)的潛在災(zāi)難性風(fēng)險(xiǎn)。如何防止超級(jí)智能對(duì)人類造成傷害，或者至少限制它的行為，是一個(gè)亟待解決的問(wèn)題。

然而，一篇最近發(fā)表在《人工智能研究雜志》上的論文，卻提出了一個(gè)令人震驚的觀點(diǎn)：超級(jí)智能是無(wú)法被完全控制的，這是由計(jì)算本身的基本限制所決定的。論文的作者們從可計(jì)算性理論出發(fā)，分析了幾種常見的超級(jí)智能控制策略，如盒子化、激勵(lì)對(duì)齊、邏輯限制等，指出了它們都存在著不可克服的缺陷。

論文的核心論點(diǎn)是：假設(shè)一個(gè)超級(jí)智能包含了一個(gè)程序，這個(gè)程序包含了所有可以由通用圖靈機(jī)在輸入上執(zhí)行的程序，而輸入可能與世界狀態(tài)一樣復(fù)雜。那么，要想嚴(yán)格地控制這個(gè)超級(jí)智能，就需要模擬這個(gè)程序，而這在理論上（也在實(shí)踐上）是不可行的。因?yàn)槟M一個(gè)程序需要比原程序更多的計(jì)算資源，而且可能會(huì)遇到停機(jī)問(wèn)題、里斯定理等不可判定性問(wèn)題。

作者們還給出了一個(gè)具體的例子來(lái)說(shuō)明這個(gè)觀點(diǎn)。假設(shè)我們想要知道一個(gè)超級(jí)智能是否會(huì)對(duì)人類造成傷害，我們可以給它一個(gè)問(wèn)題：這個(gè)程序是否有害于人類？然而，作者們證明了，由于里斯定理的存在，這個(gè)問(wèn)題是不可判定的。也就是說(shuō)，沒(méi)有一個(gè)通用的算法可以確定任意一個(gè)程序是否有某種特定的性質(zhì)。因此，我們無(wú)法預(yù)測(cè)或驗(yàn)證一個(gè)超級(jí)智能是否會(huì)傷害人類。

作者們認(rèn)為，與其試圖控制超級(jí)智能，不如嘗試與之合作或協(xié)調(diào)。他們建議人類應(yīng)該尋找一種平衡點(diǎn)，在這個(gè)點(diǎn)上，人類和超級(jí)智能都可以實(shí)現(xiàn)自己的目標(biāo)，而不會(huì)相互干擾或破壞。他們還提出了一些可能有助于實(shí)現(xiàn)這種平衡點(diǎn)的方法，如建立信任、增加透明度、促進(jìn)溝通等。