State Media Regulation 與 Large Language Model 輸出偏差之關聯

導言

近期研究指出,政府對國家媒體環境的控制,顯著影響 Large Language Models (LLMs)所生成的回答。

正文

該項調查透過跨國審計,確立了媒體自由受限與 LLM 輸出中親政府傾向增加之間的關聯。具體而言,當使用那些媒體審查嚴格之國家的母語進行查詢時,模型對國家機構表現出更為正面的傾向。 為了分離出因果機制,研究人員針對 Chinese 資訊環境進行了個案研究。對 CulturaX 數據集的分析顯示,由國家協調的內容佔比極高,來自 mainland Chinese 政府網域的文件出現頻率比來自 Chinese-language Wikipedia 的文件高出 41 倍。透過使用 open-weight model,研究進一步驗證了將此類經過編排及篩選的媒體整合至訓練集中的影響;對國家協調媒體進行額外的 pretraining,導致模型在關於 Chinese 政治領導層及機構的回答中,正面回應明顯增加。 此外,對商業模型的審計研究顯示,輸出結果存在語言差異。以 Chinese 提交的查詢,對 Chinese 機構的評價比以 English 提交的相同查詢更為正面。鑑於 LLMs 已被證實具有說服能力,研究人員認為,國家行為者可能有更強的策略誘因去操縱媒體環境,以塑造這些模型的認知輸出。

結論

國家控制的媒體環境有效地使 LLM 訓練數據產生偏差,導致輸出結果依賴於語言並傾向於親政府。