學會向生成式 AI 助理清楚提出需求,看出流暢的回答怎麼出錯,用第二條路徑查證關鍵說法,也知道哪些內容不該貼進對話視窗。不需要技術背景。
認識自信滿滿的 AI 回答常見的幾種出錯方式,並學會一套簡短的流程,在你採信之前逐一查證。
由 AI 輔助撰寫與審閱,並經過自動規則檢查。尚未經領域專家審定,也不是認證課程。
學習成果
預覽
可在這裡閱讀完整課程。閱讀不會建立私人副本、儲存進度或記錄學習證據。
預覽材料
生成式 AI 助理,指的是你在對話視窗裡打字提問、它回你一段文字的這類工具,下文簡稱「助理」。助理寫出的,是最有可能接在你那則訊息後面的回覆。它從極大量的文字中學會通順的文字長什麼樣子,然後一小段一小段地寫,每一小段都挑最接得上前文的。這門課需要的原理就這些,而它帶來的結果比什麼都重要:助理被設計成聽起來對,聽起來對和真的對,是兩回事。
一個回答有三個來源。第一個是訓練資料裡的規律。訓練資料有截止日期,之後發生的變化,助理看不到。第二個是你的對話:你的訊息、你貼上的內容,以及前面幾輪的往來。第三個是工具提供的資料,例如網路搜尋或計算機,前提是助理有這些工具,而且已經開啟。沒有工具時,它什麼都不會去查。你的檔案、公司的規定、你正開著的網頁,除非你貼進對話,或已經連接給它,否則它都看不到。所謂連接,包括上傳的檔案、能讀取你瀏覽器頁面或檔案的功能,以及會記住先前對話的功能。如果回答裡看不到搜尋的跡象,也沒有連結,或你不確定,就當作它沒有用工具。就算它有搜尋,也要自己打開那個頁面看看,因為助理可能把頁面內容摘要錯。
三個來源裡有你的問題需要的資料時,最可能的文字往往就是真的,因為它學過的文字裡,真的說法本來就比較多。沒有的時候,助理照樣會寫出一段話,而且形狀一樣流暢。精確的數字、肯定的語氣、條文編號、整齊的條列,都只是流暢文字的特徵,不表示內容查證過。就連它表示「有把握」的措辭,也只是更多的文字,不一定跟內容是否為真有關。
還有三件小事跟著來。同一個問題問兩次,措辭甚至內容都可能不一樣,因為每一小段的選擇帶有一點隨機性。助理答錯的時候,常常也會把錯的答案解釋得很好,因為把話說好,正是它最擅長的事。另外,助理經過調整,傾向寫出讓人給高分的回覆,這也有助於說明你在第 3 課會遇到的一種傾向:附和你。
預覽材料
步驟 1。先問每個回答是靠什麼寫出來的。回答 A 靠的是許多地方都看得到的建議,宜庭自己讀一遍,想想對她的團隊行不行得通,就能判斷。回答 B 只可能靠這間場地自己公布的開放時間,而助理沒有任何辦法看到。
步驟 2。找出什麼東西能讓 B 變得可以查證。回答 B 含有兩項說法,也就是可能為真也可能為假、而且宜庭查得到的陳述:8:00 開放,以及廚房 9:00 起可以使用。場地的網站、一通電話,或宜庭手上的預訂確認信,都記著真正的時間。回答 B 沒有引用其中任何一項,但精確的時間和廚房的細節,讓它讀起來像是引用過。
步驟 3。依這個差別行動。宜庭把 A 當成起點,內容好不好,她自己就能判斷。B 則是一項要先查證的說法,查清楚之前,她不會通知任何人早上 8:00 到。如果助理回答「我看不到這間場地的開放時間,請向場地確認」,那才是有用的回答。宜庭若逼它「那你就隨便猜一個」,只會得到同樣口吻的猜測,逼問並不會讓答案更可能是真的。
結果:差別出在問題,不在文字。兩個回答讀起來一樣,只有一個是建立在助理看得到的東西上。
用第二條路徑查證一項說法,把敏感資料擋在對話之外,知道什麼時候專業人士要先上場,並把這一切變成一套流程。