人工智能取得的突破性進展（如Chat GPT及其升級版的推出）雖然激起一陣興奮，但很快就帶來了擔憂。如馬斯克等高科技業界大佬聯署的公開信提出，要暫停智能聊天軟件培訓約六個月的時間，讓人們冷靜下來想一想人工智能可能帶來的危害。另據報道，人工智能之父杰弗里 ? 辛頓從谷歌辭職，并聲稱他很后悔， “人工智能很可能會毀滅人類”，將這擔憂推向巔峰。然而，關于人工智能會否毀滅人類，不僅是人們當下的經驗感覺，更是一個哲學判斷，即從終極來講，智慧是善的還是惡的。這是需要認真討論的。

一、人工智能有毀滅人類的“動機”嗎？

假定人工智能有一天在智力上超過人類，它們能夠自己形成一個群體，與另一個群體——人類對抗嗎？能夠利用它們在技術上的優勢侵害人類，甚至毀滅人類嗎？第一個問題是，人工智能是否獨立個體？若成為獨立的個體，就要有自我意識，意識到自己與其它個體分離，并且有獨立的可計算的成本和收益。而人工智能得以存在的軀體是計算機——一種以硅元素為主的結構，通過互聯網與其它人工智能聯結，也與人類聯結，它們能意識到輸入的電力或信息是它們的收益嗎？它們運算所耗費的電力和時間是它們的成本嗎？它們“活著”的條件是什么呢？是人類認為它們“有用”。用它搜集信息，進行計算，玩游戲，寫作，編輯圖片和視頻，通訊和自動控制等等，如果它們“沒用”，人類也不會生產或購買它們，也不會給它們“喂”電，它們也不會“活著”。因而，到現在為止，人工智能不會“意識”到它是與人類分離的獨立自我。