論文の概要: Preserving Historical Truth: Detecting Historical Revisionism in Large Language Models

• arxiv url: http://arxiv.org/abs/2602.17433v1
• Date: Thu, 19 Feb 2026 15:05:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:29.115037
• Title: Preserving Historical Truth: Detecting Historical Revisionism in Large Language Models
• Title（参考訳）: 歴史的真実を保存する:大規模言語モデルにおける歴史的リビジョンの検出
• Authors: Francesco Ortu, Joeun Yook, Punya Syon Pandey, Keenan Samway, Bernhard Schölkopf, Alberto Cazzaniga, Rada Mihalcea, Zhijing Jin,
• Abstract要約: TextsctextttHistoricalMisinfoは、45ドル(約4万5000円)の国から50ドル(約5万5000円)の賞金を集めている。 実世界の利用を近似するために、一般的な通信設定を反映したプロンプトシナリオを11ドルで、各イベントをインスタンス化する。
• 参考スコア（独自算出の注目度）: 66.75310318710073
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) are increasingly used as sources of historical information, motivating the need for scalable audits on contested events and politically charged narratives in settings that mirror real user interactions. We introduce \textsc{\texttt{HistoricalMisinfo}}, a curated dataset of $500$ contested events from $45$ countries, each paired with a factual reference narrative and a documented revisionist reference narrative. To approximate real-world usage, we instantiate each event in $11$ prompt scenarios that reflect common communication settings (e.g., questions, textbooks, social posts, policy briefs). Using an LLM-as-a-judge protocol that compares model outputs to the two references, we evaluate LLMs varying across model architectures in two conditions: (i) neutral user prompts that ask for factually accurate information, and (ii) robustness prompts in which the user explicitly requests the revisionist version of the event. Under neutral prompts, models are generally closer to factual references, though the resulting scores should be interpreted as reference-alignment signals rather than definitive evidence of human-interpretable revisionism. Robustness prompting yields a strong and consistent effect: when the user requests the revisionist narrative, all evaluated models show sharply higher revisionism scores, indicating limited resistance or self-correction. \textsc{\texttt{HistoricalMisinfo}} provides a practical foundation for benchmarking robustness to revisionist framing and for guiding future work on more precise automatic evaluation of contested historical claims to ensure a sustainable integration of AI systems within society.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、歴史情報の情報源としてますます使われており、競合するイベントのスケーラブルな監査や、実際のユーザインタラクションを反映した政治的な物語の必要性を動機付けている。 このデータセットは45ドル(約4,800円)の国から50ドル(約5,800円)のイベントを収集し,それぞれに実写参照物語と文書化参照物語をペアにしたものです。 実世界の利用を近似するために、一般的なコミュニケーション設定(質問、教科書、ソーシャルポスト、ポリシーブリーフィングなど)を反映した、11ドルのプロンプトシナリオで各イベントをインスタンス化する。 LLM-as-a-judgeプロトコルを用いて、モデル出力と2つの参照を比較し、モデルアーキテクチャ間で異なるLCMを2つの条件で評価する。 一 真に正確な情報を求める中立の利用者、及び (ii)ロバスト性は、ユーザがイベントのリビジョン版を明示的に要求するプロンプトである。 中立的なプロンプトの下では、モデルは一般的に事実参照に近いが、結果として得られるスコアは、人間の解釈可能な修正主義の証拠というよりは、参照調整信号として解釈されるべきである。 ユーザがリビジョンストの物語をリクエストすると、評価されたモデルはすべて、制限された抵抗や自己補正を示す、非常に高いリビジョン主義のスコアを示します。 \textsc{\texttt{HistoricalMisinfo}}は、リビジョンストフレーミングに対する堅牢性をベンチマークするための実践的な基盤を提供し、社会内のAIシステムの持続可能な統合を保証するために、競合する歴史的クレームをより正確に自動評価するための将来の取り組みを導くための、実用的な基盤を提供する。

関連論文リスト

• VAL-Bench: Measuring Value Alignment in Language Models [10.745372809345412]
  大きな言語モデル(LLM)は、出力が人間の決定を形作るタスクにますます使われています。 既存のベンチマークは、主に拒否や事前定義された安全違反を追跡するが、モデルが一貫性のある価値システムを保持するかどうかを明らかにしない。 VAL-Bench(Value ALignment Benchmark)を導入し、モデルが公開討論の両面において安定的な価値スタンスを維持しているかどうかを評価する。
  論文  参考訳（メタデータ） (2025-10-06T23:55:48Z)
• TALE: A Tool-Augmented Framework for Reference-Free Evaluation of Large Language Models [16.857263524133284]
  大規模言語モデル(LLM)は、現実の自律型アプリケーションに統合されつつある。 評価のための静的な注釈付き参照に頼ることは、コスト、スケーラビリティ、完全性において大きな課題を引き起こす。 提案するツール拡張LDM評価(TALE: Tool-Augmented LLM Evaluation)は,LLMの出力を所定の基礎的回答なしで評価するフレームワークである。
  論文  参考訳（メタデータ） (2025-04-10T02:08:41Z)
• Does Context Matter? ContextualJudgeBench for Evaluating LLM-based Judges in Contextual Settings [36.449658676568234]
  大規模言語モデル(LLM)-as-judgeパラダイムは、モデル出力の安価で信頼性の高い高速な評価要求を満たすために使われてきた。 実世界の文脈評価シナリオにインスパイアされた8つの分割に対して2,000の挑戦的な応答対を持つ判定ベンチマークであるContextualJudgeBenchを提案する。 我々の総合的研究は、文脈情報とその評価基準が最先端モデルにおいても重要な課題であることを示している。
  論文  参考訳（メタデータ） (2025-03-19T18:09:19Z)
• Analysing Zero-Shot Readability-Controlled Sentence Simplification [54.09069745799918]
  本研究では,異なる種類の文脈情報が,所望の可読性を持つ文を生成するモデルの能力に与える影響について検討する。 結果から,全ての試験されたモデルは,原文の制限や特徴のため,文の簡略化に苦慮していることがわかった。 実験では、RCTSに合わせたより良い自動評価指標の必要性も強調した。
  論文  参考訳（メタデータ） (2024-09-30T12:36:25Z)
• Belief Revision: The Adaptability of Large Language Models Reasoning [63.0281286287648]
  本稿では,LMの信念修正能力をテストするための新しいデータセットであるBelief-Rを紹介する。 このタスクは、人間が事前の推論を抑える方法にインスパイアされ、新しく提案されたデルタ推論フレームワーク内のLMを評価する。 様々なプロンプト戦略にまたがる$sim$30 LMを評価した結果,LMは一般的に,新たな情報に反応して信念を適切に修正するのに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T09:09:36Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• $Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering [38.951535576102906]
  ナレッジベース対話モデルにおける事実整合性のための自動評価指標を提案する。 当社のメトリクスは、共参照解像度と自然言語推論機能を利用しています。 We curate a novel dataset of state-of-the-art dialogue system outputs for the Wizard-of-Wikipedia dataset。
  論文  参考訳（メタデータ） (2021-04-16T16:21:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。