論文の概要: Evaluation of Multi-Turn Consistency in LLM Agents: Survival Analysis and Failure-Rationale Taxonomy

• arxiv url: http://arxiv.org/abs/2609.29508v1
• Date: Wed, 26 Aug 2026 01:33:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.050688
• Title: Evaluation of Multi-Turn Consistency in LLM Agents: Survival Analysis and Failure-Rationale Taxonomy
• Title（参考訳）: LLM剤の多軸整合性の評価:生存分析と故障分類
• Abstract要約: 遅延重力解析に着想を得た20段階のマルチエージェント設定における時間的整合性を評価する。 8つのモデルファミリにまたがる84,540のトラジェクトリを実行しています。 失敗の中で、長い熟考は、レギュラー内矛盾の率の上昇と相関する。
• 参考スコア（独自算出の注目度）: 0.28675177318965034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents may perform well on isolated tasks yet drift into inconsistency over extended interaction. We evaluate temporal consistency in a controlled 20-step multi-agent setting inspired by delayed-gratification studies. At each step, an agent chooses between continuing to delay a reward or claiming it immediately (terminating the episode). Across a full-factorial manipulation of social visibility (private vs public), persona stressors, and deliberation policy, we run 84,540 trajectories spanning 8 model families. Treating the first reward-claim as a time-to-event outcome, we estimate Kaplan-Meier survival curves and fit discrete-time hazard regression to quantify how experimental factors shift failure risk over time. Then, to analyze rationales and language patterns associated with failure, we build a seven-category taxonomy from 13,780 deliberation traces from agents who choose to terminate the episode, using an LLM-assisted labeling paired with human audit ($κ=0.83$). Rationale profiles change systematically with time and context: early failures are more impulse-driven, later failures more fatigue- and cost-benefit-framed, while public settings increase norm-oriented justifications. We also find a deliberation-inconsistency association: among failures, longer deliberation correlates with higher rates of intra-rationale contradiction (simultaneous pro-delay and pro-claim statements), challenging the assumption that more reasoning text implies greater consistency. Together, the survival and rationale analyses reveal distinct temporal reliability regimes and model-specific "failure fingerprints", offering an evaluation lens for diagnosing inconsistency in multi-turn agent behavior.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、孤立したタスクでうまく機能するが、拡張された相互作用よりも矛盾する。 遅延重力解析に着想を得た20段階のマルチエージェント設定における時間的整合性を評価する。 それぞれのステップで、エージェントは報酬を遅らせ続けるか、即時にそれを主張するか(エピソードの終了)を選択する。 社会的可視性(私的対公的)、ペルソナ・ストレスター、熟考政策をフルファクターで操作し、8つのモデルファミリーにまたがる84,540のトラジェクトリを実行する。 第1報の報奨評価を時間的・時間的な結果として扱うことで,Kaplan-Meier生存曲線を推定し,離散的時間的ハザード回帰に適合させて,実験的要因が時間の経過とともに障害リスクを変動させる方法の定量化を行う。 そこで我々は,失敗に関連する論理的・言語的パターンを解析するために,人間監査(κ=0.83$)と組み合わせたLLMラベリング(LLM)を用いて,エピソード終了を選択したエージェントから13,780名から7つの分類分類を作成した。 初期の障害は衝動駆動型であり、後の障害は疲労駆動型とコスト便益駆動型で、パブリック設定では標準指向の正当化が増加する。 失敗の中で、長い熟考は、有理数内矛盾のより高い率(同時的な前遅延と前宣言文)と相関し、より多くの推論テキストがより一貫性を示すという仮定に挑戦する。 生存と合理的分析は、異なる時間的信頼性とモデル固有の「欠陥指紋」を明らかにし、マルチターンエージェントの動作の不整合を診断するための評価レンズを提供する。

関連論文リスト

• TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction [48.104261148149654]
  TimeLitmusは、イベント条件付き時系列予測における相互理解と忠実さの説明のための診断ベンチマークである。 TimeLitmusには財務と交通の計4,856件の評価記録がある。
  論文  参考訳（メタデータ） (2026-09-21T14:38:49Z)
• When Interference Graphs Evolve: Doubly Robust Estimation of Dynamic Peer Effects [1.049126606580198]
  我々は,自己治療,時間的に集約されたピア露光,および課題後の進化の要約によって潜在的な結果をインデックスする制御されたコントラストフレームワークを導入する。 時間分解確率と正規化オーグメンテーションを組み合わせた動的ネットワーク二重ロバスト推定器DynaNet-DRを開発した。
  論文  参考訳（メタデータ） (2026-08-27T14:32:40Z)
• Delay-of-Gratification as a Multi-Agent Survival Micro-benchmark for Long-Horizon LLMs: Social Exposure, Personas, and Tool Use Budgets [0.28675177318965034]
  スタンフォード大学のマシュマロ実験に触発されたマルチエージェントのマイクロベンチマークを開発した。 危険地平線上でのKaplan-Meier生存曲線と離散時間ハザードモデルを用いて結果を分析する。 結果は、コンパクトなマルチターン相互作用ベンチマークとしてグラティフィケーションの遅延を確立する。
  論文  参考訳（メタデータ） (2026-08-26T01:38:35Z)
• From Prompts to Pavement Through Time: Temporal Grounding in Agentic Scene-to-Plan Reasoning [1.2777067998526854]
  本研究は, エージェント間コミュニケーションにおける時間的条件付けが, 意味的・論理的一貫性の低下を伴わずにコヒーレンスを維持・強化できるかどうかを考察する。 その結果,時間的条件付けは推論スタイルに反するが,標準NLPに基づく正当性測定では統計的に有意な改善は得られなかった。 これらの結果から,プロンプトベースの時間的接地限界を明らかにし,時間的シーンから計画的推論のための最初の経験的基準を確立した。
  論文  参考訳（メタデータ） (2026-05-19T13:18:35Z)
• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• Seeing is not Believing: Robust Reinforcement Learning against Spurious Correlation [57.351098530477124]
  国家の異なる部分には、保存されていない共同設立者が引き起こす相関関係が存在しない。 このような役に立たないあるいは有害な相関を学習するモデルは、テストケースの共同創設者がトレーニングケースから逸脱したときに破滅的に失敗する可能性がある。 したがって、単純かつ非構造的な不確実性集合を仮定する既存の頑健なアルゴリズムは、この問題に対処するには不十分である。
  論文  参考訳（メタデータ） (2023-07-15T23:53:37Z)
• Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
  我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。 動的パーソナライズされた価格設定などの問題の因果構造を形式化する。 本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
  論文  参考訳（メタデータ） (2021-10-19T16:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。