團隊文章

Google Gemini，以及多模態 AI 背後的問題：你實際上看見了什麼？

Google Gemini 是理解多模態 AI 的一個有用案例：什麼進入系統、系統轉換了什麼、哪些來源形塑答案，以及誰仍然要對主張負責。

Ann · 2024年6月7日 · 約 5 分鐘讀完

Google Gemini 常被介紹成一場規模競賽：更新的模型、更多模態、更多產品，以及 Google 更大的野心。這種框架漏掉了讀者在信任多模態助理之前需要提出的問題：當文字、圖片和音訊進入同一個系統時，我實際上被展示了什麼，而畫面之外又留下了什麼？

Gemini 位於對話式介面、搜尋公司、大型帳戶生態系，以及一個設計來處理不同輸入類型的模型交會之處。產品名稱和能力會改變，但讀者對輸入、來源、轉換與責任取得清楚說明的需要不會改變。

本指南不是一份永久的功能清單，而是提供一種方式，讓你理解多模態助理做了什麼、它的流暢在哪裡可能誤導你，以及如何讓人繼續掌握主張的控制權。

什麼是 Google Gemini？

Gemini 是 Google 的生成式 AI 模型家族與助理體驗。使用者可以要求解釋，把圖片放進問題裡，處理文件，或在一次互動中結合多種材料。系統會根據學到的模式，以及該脈絡中提供的來源或工具產生回答。

模型的名稱不會告訴你是哪一個版本回答、它能存取哪些資訊、是否取回了來源，或回答抵達你面前之前發生了哪些轉換。這些細節是答案意義的一部分，不是技術裝飾。

當你要求助理描述一張照片時，它並不是把未經觸碰的場景交給你。它會選擇自己辨認出的內容，用語言填補空白，再透過學到的分類呈現描述。即使描述得很有把握，也可能錯過最重要的人、地點或事件。

在產生文字回答之前，語音必須先被偵測、切分、轉寫與詮釋。名字、口音、遲疑，或背景中很輕的聲音，都可能在任何階段消失。當精確措辭或順序很重要時，請保留原始錄音。

長篇文件可以很快被摘要，但摘要會改變讀者與證據之間的關係。詢問哪些段落支持結論、哪些內容被排除，以及系統能否把作者的主張與例子或引文區分開來。

單一聊天框隱藏了輸入、模型、取回、政策與輸出之間的移動。即使背後可能涉及多個系統與決定，結果仍會讓人感覺像是一位統一的說話者產生的。

更多輸入不會自動帶來更多理解。模型可以把一張照片和一個問題組合成看似合理的故事，卻無法證明故事真的發生過。它可以在一段話中準確描述文件，仍然漏掉會改變決定的限定條件。

把多模態協助用於探索、比較、轉寫、起草與提問。當輸出會影響健康、金錢、權利、工作、教育或公開紀錄時，回到原始材料，讓人來決定這項主張。

列出提示詞、檔案、圖片、音訊、連結與帳戶脈絡。確認系統看到的是完整項目，還是只看到一個表示、一段摘錄，或抽取出的文字。

把從你的材料讀到的內容、從其他地方取回的內容，以及由學到的模式生成的內容分開。打開來源，核對最重要的那句話。

記錄轉寫、裁切、OCR、摘要、翻譯、分類與其他轉換。每一個步驟都可能刪除脈絡，同時讓最後的回答更容易閱讀。

Google 的模型、搜尋排序、帳戶設定、安全規則與連接的服務，都會影響什麼內容變得可見。詢問如果沒有你的修正，系統會怎麼做，以及它無法展示什麼。

指定一個人在聲明發布或使用之前核准它。多模態助理可以加速檢查，卻不能為根據其輸出做出的決定承擔責任。

Gemini 並不是在真空中運作。它可以位於搜尋、文件、裝置、帳戶與其他服務旁邊。這種整合能讓有用的脈絡更容易取得，但也可能讓你的材料、平台資料與模型詮釋之間的界線更難看見。

便利不應該要求你放棄決定是如何形成的紀錄。把原始輸入、取回的來源、生成的回答與人的修改放在一起保存。如果服務更換模型或權限，這份決定紀錄仍應該能夠移植。

負責任的多模態系統應該展示它收到了什麼、使用了什麼、轉換了什麼，以及不確定性留在哪裡。人們應該能修正回答、保存來源，並帶著自己的工作離開。助理應該讓從證據到主張的路徑更容易檢查，而不是用一句修飾過的話取代那條路徑。

這與貫穿 Lu Heng 工作的更大論點相連。他的生成式 AI 指南解釋了為什麼指令不是理解。他關於現實層次與象徵權力的 Note，要求讀者把存在的事物，與覆蓋其上的標籤和敘事分開。多模態系統能把有說服力的敘事附著到更多類型的材料上，因此讓這種分離更加迫切。

圖片、錄音與文件進入 AI 介面的速度，快過大多數人學會檢查這些轉換的速度。如果流暢的回答成為唯一流通的版本，系統營運者就會影響哪些證據能留下、哪些脈絡會消失，以及哪一種詮釋看起來理所當然。

重要的問題不是 Gemini 是否在功能比較中勝出，而是人們能否使用整合式 AI 系統，同時保有查看來源、理解轉換、質疑輸出，以及親自作出最後決定的權利。

給助理一份文件、一張圖片或一段錄音，提出一個範圍很窄的問題。把原件放在回答旁邊。標記哪些內容是直接存在的、哪些是推論的，以及哪些需要另一個來源。如果工具幫助你看得更清楚，就把它留在流程中。如果它只是讓一個沒有根據的故事更容易被重複，就在故事成為紀錄之前停下來。