一場搶劫案后，格雷的妻子喪生，自己也全身癱瘓。他接受了一個天才科學家的“升級”改造治療——在他身體里植入了人工智能程序STEM，獲得了超強的能力，從一個“殘廢”直接升級成為職業殺手。隨著STEM的進化升級，步步緊逼格雷交出身體使用權和大腦意識控制權……

本年度關于人工智能和人類未來的最佳影片，不少人認為非《升級》莫屬。而人工智能和人類抗衡的探討，是科幻電影中的永恒話題，從《銀翼殺手》到《機械姬》，再到今年的低成本電影《升級》，都映射出未來人工智能對人類的威脅。

黑產超正規行業 惡意源于人類基因

AI造反，是科幻電影里太常見的橋段。問題在于，現實當中真正的AI好像也在一步步向我們走來。不少人抱有憂慮和不安，人工智能會“作惡”嗎？

傾向于AI威脅論的人并不在少數。馬斯克曾在推特上表示：“我們要非常小心人工智能，它可能比核武器更危險。”史蒂芬·霍金也說：“人工智能可能是一個‘真正的危險’。機器人可能會找到改進自己的辦法，而這些改進并不總是會造福人類。”

“任何技術都是一把雙刃劍，都有可能用于作惡，為什么人工智能作惡會引起這么大的反響？”在近日召開的2018中國計算機大會的分論壇上，哈爾濱工業大學長聘教授鄔向前拋出了問題，人工智能研究的底線到底在哪里？

早在1942年，阿西莫夫就提出了機器人三定律。但問題在于，這些科幻書中美好的定律，執行時會遇到很大的問題。

“一臺計算機里跑什么樣的程序，取決于這個程序是誰寫的。”360集團技術總裁、首席安全官譚曉生說，機器人的定律可靠與否，首先是由人定義的，然后由機器去存儲、執行。

值得注意的是，“不作惡”已成科技行業的一個技術原則。那么，機器人作惡，惡意到底從何而來？

如今人工智能發展的如火如荼，最早擁抱AI的卻是黑產群體，包括用AI的方法來突破驗證碼，去黑一些賬戶。譚曉生笑言：“2016年中國黑產的收入已超過一千億，整個黑產比我們掙的錢還要多，它怎么會沒有動機呢？”

“AI作惡的實質，是人類在作惡。”北京大學法學院教授張平認為，AI不過是一個工具，如果有人拿著AI去作惡，那就應該制裁AI背后的人，比如AI的研發人員、控制者、擁有者或是使用者。當AI在出現損害人類、損害公共利益和市場規則的“惡”表現時，法律就要出來規制了。

目前，無人駕駛和機器人手術時引發的事故，以及大數據分析時的泛濫和失控時有耳聞。那么，人工智能會進化到人類不可控嗎？屆時AI作惡，人類還能招架的住嗎？

任務驅動型AI 還犯不了“反人類罪”

值得關注的是，霍金在其最后的著作中向人類發出警告，“人工智能的短期影響取決于誰來控制它，長期影響則取決于它能否被控制。”言下之意，人工智能真正的風險不是惡意，而是能力。

“人工智能未來的發展會威脅到人類的生存，這不是杞人憂天，確實會有很大的風險，雖說不是一定會發生，但是有很大的概率會發生。”在譚曉生看來，人類不會被滅亡，不管人工智能如何進化，總會有漏洞，黑客們恰恰會在極端的情況下找到一種方法把這個系統完全摧毀。

對此，上海交通大學電子系特別研究員倪冰冰持樂觀態度。“我們目前大部分的AI技術是任務驅動型，AI的功能輸出、輸入都是研究者、工程師事先規定好的。”倪冰冰解釋說，絕大多數的AI技術遠遠不具備反人類的能力，至少目前不用擔心。

張平表示，當AI發展到強人工智能階段時，機器自動化的能力提高了，它能夠自我學習、自我升級，會擁有很強大的功能。比如人的大腦和計算機無法比擬時，這樣的強人工智能就會對我們構成威脅。

“人類給AI注入什么樣的智慧和價值觀至關重要，但若AI達到了人類無法控制的頂級作惡——‘反人類罪’，就要按照現行人類法律進行處理。”張平說，除了法律之外，還需有立即“處死”這類AI的機制，及時制止其對人類造成的更大傷害。“這要求在AI研發中必須考慮‘一鍵癱瘓’的技術處理，如果這樣的技術預設做不到，這類AI就該停止投資與研發，像人類對待毒品般全球誅之。”

作惡案底漸增 預防機制要跟上

事實上，人們的擔憂并非空穴來風。人工智能作惡的事件早在前兩年就初見端倪，比如職場偏見、政治操縱、種族歧視等。此前，德國也曾發生人工智能機器人把管理人員殺死在流水線的事件。

可以預見，AI作惡的案例會日漸增多，人類又該如何應對？

“如果我們把AI當作工具、產品，從法律上來說應該有一種預防的功能。科學家要從道德的約束、技術標準的角度來進行價值觀的干預。”張平強調，研發人員不能給AI灌輸錯誤的價值觀。畢竟，對于技術的發展，從來都是先發展再有法律約束。

在倪冰冰看來，目前不管是AI算法還是技術，都是人類在進行操控，我們總歸有一些很強的控制手段，控制AI在最高層次上不會對人產生一些負面影響。“如果沒有這樣一個操控或者后門的話，那意味著不是AI在作惡，而是發明這個AI工具的人在作惡。”

凡是技術，就會有兩面性。為什么我們會覺得人工智能的作惡讓人更加恐懼？與會專家直言，是因為AI的不可控性，在黑箱的情況下，人對不可控東西的恐懼感更加強烈。

目前最火的領域——“深度學習”就是如此，行業者將其戲謔地稱為“當代煉金術”，輸入各類數據訓練AI，“煉”出一堆我們也不知道為啥會成這樣的玩意兒。人類能信任自己都無法理解的決策對象嗎？

顯然，技術開發的邊界有必要明晰，比爾·蓋茨也表示擔憂。他認為，現階段人類除了要進一步發展AI技術，同時也應該開始處理AI造成的風險。然而，“這些人中的大多數都沒有研究AI風險，只是在不斷加速AI發展。”

業界專家呼吁，我們必須清楚地知道人工智能會做出什么樣的決策，對人工智能的應用范圍和應用結果的預期，一定要有約束。

AI會不會進化，未來可能會形成一個AI社會嗎？“AI也許會為了爭取資源來消滅人類，這完全有可能，所以我們還是要重視AI作惡的程度和風險。”現場一位嘉賓建議，我們現在要根據人工智能的不同階段，比如弱智能、強智能和超智能，明確哪些人工智能應該研究，哪些應該謹慎研究，而哪些又是絕對不能研究的。

如何防范AI在極速前進的道路上跑偏？“要從技術、法律、道德、自律等多方面預防。”張平說，AI研發首先考慮道德約束，在人類不可預見其后果的情況下，研發應當慎重。同時，還需從法律上進行規制，比如聯合建立國際秩序，就像原子彈一樣，不能任其無限制地發展。