論文の概要: Evaluating Temporal Reasoning in Large Language Models: Event Temporal Relation Extraction with Allen's Interval Algebra, Logical Consistency, and Relative Time in Narratives

• arxiv url: http://arxiv.org/abs/2610.17402v1
• Date: Mon, 12 Oct 2026 21:10:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 19:03:34.225854
• Title: Evaluating Temporal Reasoning in Large Language Models: Event Temporal Relation Extraction with Allen's Interval Algebra, Logical Consistency, and Relative Time in Narratives
• Title（参考訳）: 大規模言語モデルにおける時間的推論の評価:アレンの中間代数を用いた事象時間的関係抽出、論理的一貫性、物語における相対時間
• Abstract要約: 我々は5つの大きな言語モデルに、アレンの13の間隔関係を再構築するよう依頼する。 最良のモデルは明らかにマクロF1の自明なベースラインを上回るが、事前登録されたモデルでは、常に答える"前"の正確さと一致しない。 論理的一貫性は広く異なるが、金との合意についてはほとんど言及していない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Understanding a narrative means knowing how every event relates in time to every other, yet large language models (LLMs) are mostly tested on isolated event pairs or coarse labels. We ask five LLMs to reconstruct the complete network of Allen's 13 interval relations for 360 English narratives whose events are placed relative to one another rather than by dates, and evaluate the outputs under a pre-registered protocol for agreement with our gold annotations, converse consistency and logical satisfiability. End to end, the best model clearly beats trivial baselines on macro-F1, our primary metric, yet under our pre-registered parser no model matches the accuracy of always answering "before", which the skewed labels inflate. Most of that accuracy gap is a parsing artifact: formatting errors in large matrices cost whole rows, and a post hoc parser that recovers the determined cells of malformed rows raises coverage from 0.60 to 0.84 and closes the gap to the baseline for the best model. On the cells they do answer, models recover precedence and containment but rarely overlap, and they fail most on flashbacks, where both the narration and the event list present the later event first. Logical consistency varies widely yet says little about agreement with gold: enforcing it raises accuracy mainly by filling empty cells, and is beaten there by the trivial control of guessing the majority label. Reliable structured output and robust handling of relative time are prerequisites for temporal reasoning over whole narratives.
• Abstract（参考訳）: 物語を理解するということは、すべてのイベントが他のすべてのイベントとどのように関連しているかを知ることを意味しますが、大きな言語モデル(LLM)は、主に独立したイベントペアや粗いラベルでテストされます。 我々は5つのLCMに、日付ではなく相対的にイベントが配置される360話のアレンの13区間関係の完全なネットワークを再構築するよう依頼し、金のアノテーション、逆整合性、論理的満足度に合わせるための事前登録されたプロトコルの下で出力を評価する。 結局のところ、最良のモデルは、我々の主要な計量であるマクロF1の自明なベースラインを明らかに上回るが、事前登録されたパーサーでは、スキューされたラベルが膨らませる"before"の答えの正確さと一致しない。 大規模な行列におけるエラーのフォーマットは行全体のコストを犠牲にし、不正な行の確定したセルを復元するポストホックパーサは、カバレッジを0.60から0.84に引き上げ、最良のモデルのためのベースラインへのギャップを閉じる。 応答するセル上では、モデルは優先順位と封じ込めを回復するが、ほとんど重複せず、フラッシュバックでは最も失敗し、ナレーションとイベントリストの両方が最初にイベントを提示する。 論理的一貫性は、金との一致についてはほとんど言及されていない: 強制は、主に空の細胞を充填することで正確性を高め、大多数のラベルを推測する自明な制御によって、そこで打ち負かされる。 信頼性の高い構造化された出力と相対時間の堅牢なハンドリングは、物語全体に対する時間的推論の前提条件である。

関連論文リスト

• Calibrated Typed Decisions for Entity, Relation, and Event Extraction [22.620597105575143]
  データセットとスキーマをまたいだエンティティ、リレーション、イベント抽出のための統一エンコーダであるCalOnを提示する。 モデルはテキストと型定義を共同でエンコードし、エンティティスパン、スパン間の関係、イベントトリガーと引数を直接識別する。 さまざまなソースをトレーニングし、正しい抽出と不正なペナリを奨励する報酬で教師付き学習を補完する。
  論文  参考訳（メタデータ） (2026-10-12T17:05:20Z)
• Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
  ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。 提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。 記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
  論文  参考訳（メタデータ） (2026-09-21T11:59:07Z)
• Decoupling Perception from Description: Computation-Grounded Representation Alignment between Multivariate Time Series and Language [16.343638992747533]
  時系列を言語に合わせるためのマルチモーダルモデルのトレーニングは、セルフスーパービジョントラップに実行される。 データは、ラベル付け者が既に知っている以上のものを教えることはできない。 我々は認識を記述から切り離すことでこれを解決する。
  論文  参考訳（メタデータ） (2026-08-05T13:57:08Z)
• Universal Adversarial Suffixes Using Calibrated Gumbel-Softmax Relaxation [9.099589602551573]
  我々は,任意の入力に付加されたユニバーサル逆接接尾辞について検討し,タスクやモデル間での精度を広く低減する。 提案手法は,Gumbel-Softmax 緩和を用いた微分可能な「ソフト」形式で接尾辞を学習し,推論のために識別する。 あるモデルで訓練された1つの接尾辞は、他のモデルに効果的に転送され、常に精度と精度の調整の両方を低下させる。
  論文  参考訳（メタデータ） (2025-12-09T00:03:39Z)
• PrefixNLI: Detecting Factual Inconsistencies as Soon as They Arise [60.63315470285562]
  MiniTruePrefixesは、テキストプレフィックスよりも事実上の矛盾をよりよく検出する、新しい特殊モデルである。 制御されたデコードフレームワークにMiniTruePrefixesを組み込むことで,抽象的な要約における現実の一貫性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-11-03T09:07:44Z)
• Counterfactual-Consistency Prompting for Relative Temporal Understanding in Large Language Models [24.586475741345616]
  本稿では, 大規模言語モデル(LLM)における時間的不整合の問題に対処し, 新たな対実的プロンプト手法を提案する。 提案手法は, 対実的な質問を生成し, 集合的制約を強制し, モデルの一貫性を高める。 提案手法を複数のデータセット上で評価し、明示的で暗黙的なイベントのイベント順序付けと時間的コモンセンス理解の大幅な改善を実証した。
  論文  参考訳（メタデータ） (2025-02-17T04:37:07Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• More than Classification: A Unified Framework for Event Temporal Relation Extraction [61.44799147458621]
  イベント時間関係抽出(ETRE)は通常、マルチラベル分類タスクとして定式化される。 イベントの開始点と終了点を使ってすべての関係を解釈できることを観察する。 本稿では,時間関係を時間点の論理的表現に変換するイベント時間関係抽出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-28T02:09:08Z)
• Evaluating the Factual Consistency of Large Language Models Through News Summarization [97.04685401448499]
  本稿では,要約タスクに着目したFIB(Factual Inconsistency Benchmark)と呼ばれる新しいベンチマークを提案する。 現実的に一貫した要約では、手作業で事実的に一貫したものとして検証する、人書きの参照要約を使用します。 現実的に矛盾しない要約に対して、我々は、事実的に矛盾しているとして手動で注釈付けした一連の要約モデルから要約を生成する。
  論文  参考訳（メタデータ） (2022-11-15T18:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。