論文の概要: Temporal Fact Conflicts in LLMs: Reproducibility Insights from Unifying DYNAMICQA and MULAN

• arxiv url: http://arxiv.org/abs/2603.15892v1
• Date: Mon, 16 Mar 2026 20:37:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:06.979014
• Title: Temporal Fact Conflicts in LLMs: Reproducibility Insights from Unifying DYNAMICQA and MULAN
• Title（参考訳）: LLMにおける時間的Fact Conflicts:DyNAMICQAとMULANの統合による再現性の検討
• Authors: Ritajit Dey, Iadh Ounis, Graham McDonald, Yashar Moshfeghi,
• Abstract要約: 最近の2つの研究は、外部文脈が時間的対立を効果的に解決できるかどうかについての反対の結論を報告している。 両ベンチマークから実験を再現し,その相違点について検討する。 この結果から, 時間的知識が存在する場合のデータセット設計, 評価指標, モデルサイズ形状 LLM の挙動について考察した。
• 参考スコア（独自算出の注目度）: 19.373782553647597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) often struggle with temporal fact conflicts due to outdated or evolving information in their training data. Two recent studies with accompanying datasets report opposite conclusions on whether external context can effectively resolve such conflicts. DYNAMICQA evaluates how effective external context is in shifting the model's output distribution, finding that temporal facts are more resistant to change. In contrast, MULAN examines how often external context changes memorised facts, concluding that temporal facts are easier to update. In this reproducibility paper, we first reproduce experiments from both benchmarks. We then reproduce the experiments of each study on the dataset of the other to investigate the source of their disagreement. To enable direct comparison of findings, we standardise both datasets to align with the evaluation settings of each study. Importantly, using an LLM, we synthetically generate realistic natural language contexts to replace MULAN's programmatically constructed statements when reproducing the findings of DYNAMICQA. Our analysis reveals strong dataset dependence: MULAN's findings generalise under both methodological frameworks, whereas applying MULAN's evaluation to DYNAMICQA yields mixed outcomes. Finally, while the original studies only considered 7B LLMs, we reproduce these experiments across LLMs of varying sizes, revealing how model size influences the encoding and updating of temporal facts. Our results highlight how dataset design, evaluation metrics, and model size shape LLM behaviour in the presence of temporal knowledge conflicts.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、トレーニングデータに時代遅れや進化的な情報があるため、時間的事実の衝突に悩まされることが多い。 関連するデータセットを用いた最近の2つの研究は、外部コンテキストがこのような矛盾を効果的に解決できるかどうかについて、反対の結論を報告している。 DYNAMICQAは、モデル出力分布のシフトにおいて、外部コンテキストがいかに効果的であるかを評価し、時間的事実が変化に対してより抵抗的であることを確認する。 対照的にMULANは、外部コンテキストが記憶された事実をどれだけ頻繁に変化させるかを調べ、時間的事実が更新しやすいと結論付けている。 この再現性に関する論文では、まず両方のベンチマークから実験を再現する。 次に、各研究のデータセットに関する実験を再現し、その不一致の原因について検討する。 結果の直接比較を可能にするため、両データセットを標準化し、各研究の評価設定と整合させる。 重要なことは、LLMを用いて、DYNAMICQAの発見を再現する際に、MULANのプログラム的に構築されたステートメントを置き換えるために、現実的な自然言語コンテキストを合成的に生成することである。 DYNAMICQAにMULANの評価を適用した場合,MULANの結果は両者の方法論的枠組みの下で一般化される。 最後に, モデルサイズが時間的事実のエンコーディングや更新にどのように影響するかを明らかにするため, 7B LLMのみを検討した。 この結果から, 時間的知識が存在する場合のデータセット設計, 評価指標, モデルサイズ形状 LLM の挙動について考察した。

関連論文リスト

• Positional Biases Shift as Inputs Approach Context Window Limits [57.00239097102958]
  入力がモデルのコンテキストウィンドウの最大50%を占める場合、LiM効果は最強となる。 関係情報が入力の終端に近づくと,モデルの性能が向上する,距離に基づくバイアスが観測される。
  論文  参考訳（メタデータ） (2025-08-10T20:40:24Z)
• RelationalFactQA: A Benchmark for Evaluating Tabular Fact Retrieval from Large Language Models [9.211266032947497]
  我々は,事実検索が孤立点問合せよりもかなり難しいことを実証した。 我々の実験では、最先端のLLMでさえ25%以上の精度で苦戦していることがわかった。 これらの知見は、構造化された事実知識を合成する現在のLLMの能力において、重要な限界である。
  論文  参考訳（メタデータ） (2025-05-27T16:33:38Z)
• Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
  大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。 我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。 モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-05-27T16:24:02Z)
• Are the Hidden States Hiding Something? Testing the Limits of Factuality-Encoding Capabilities in LLMs [48.202202256201815]
  大型言語モデル(LLM)における実名幻覚 不正確なコンテンツや偽造コンテンツを生成することによって、信頼性とユーザ信頼を損なう。 近年の研究では、偽文を生成する際、LLMの内部状態が真偽に関する情報を符号化していることが示唆されている。
  論文  参考訳（メタデータ） (2025-05-22T11:00:53Z)
• SALAD: Improving Robustness and Generalization through Contrastive Learning with Structure-Aware and LLM-Driven Augmented Data [15.366930934639838]
  モデルロバスト性と一般化を向上する新しいアプローチであるSALADを提案する。 提案手法は,コントラスト学習のための構造認識および非実効的拡張データを生成する。 本研究のアプローチは,感性分類,性行為検出,自然言語推論の3つのタスクを用いて検証する。
  論文  参考訳（メタデータ） (2025-04-16T15:40:10Z)
• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Test of Time: A Benchmark for Evaluating LLMs on Temporal Reasoning [20.066249913943405]
  大きな言語モデル(LLM)は驚くべき推論機能を示しているが、エラーの影響を受けやすい。 種々のシナリオにおいて,LLMの時間的推論能力を評価するために特別に設計された新しい合成データセットを提案する。 本研究は, 時間的推論作業におけるLLMの強度と弱点について, 貴重な知見を提供するものである。
  論文  参考訳（メタデータ） (2024-06-13T14:31:19Z)
• Evaluating Consistency and Reasoning Capabilities of Large Language Models [0.0]
  大規模言語モデル(LLM)は現在、学術、研究、ビジネス、金融など様々な分野で広く使われている。 広く採用されているにもかかわらず、これらのモデルはしばしば誤った誤解を招く情報を生み出し、幻覚の傾向を示す。 本稿では,パブリックおよびプロプライエタリLLMの整合性と推論能力を評価・比較することを目的とする。
  論文  参考訳（メタデータ） (2024-04-25T10:03:14Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。