論文の概要: When LLMs Forget What They Believe: Characterizing State Integrity Collapse in Long-Horizon Dialogues
- arxiv url: http://arxiv.org/abs/2610.31314v1
- Date: Thu, 22 Oct 2026 14:08:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.399867
- Title: When LLMs Forget What They Believe: Characterizing State Integrity Collapse in Long-Horizon Dialogues
- Title(参考訳): LLMが信じていることを忘れた場合:長期対話における状態整合性の崩壊を特徴づける
- Abstract要約: 大規模な言語モデルでは、命令に従わずに命令を繰り返すことができる。
長軸対話におけるこのリコール対応解離について検討する。
私たちはStateTrack-Benchを紹介します。これは数値、フォーマット、ロール/ペルソナ、ファクトメモリ、論理ルールの制約をカバーした会話スイートです。
- 参考スコア(独自算出の注目度): 3.378827131247089
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models can repeat an instruction while failing to keep obeying it. We study this recall-compliance dissociation in long-horizon dialogue and define State Integrity Collapse: a model preserves a stated constraint in memory but stops applying it to later turns. We introduce StateTrack-Bench, a controlled suite of conversations covering numerical, format, role/persona, factual-memory, and logical-rule constraints. Across seven provider-pinned model snapshots and five dialogue-depth probes, strict joint retention ranges from 62.4% to 100.0%, with degradation concentrated in symbolic constraints and in one especially brittle model. A forked recall audit shows that 88.6% of observed failures are behavioral-drift failures rather than ordinary forgetting; excluding the brittle outlier preserves this diagnosis (84.4% of failures). Extended evaluations at depths up to 50 turns confirm that the dissociation persists beyond the core benchmark, while Structured State Anchoring recovers up to 24.4 points on immutable constraints. The results show that reliability cannot be inferred from single-turn instruction following alone; evaluation must track whether remembered constraints remain operational as dialogue state grows. Code and artifacts are available at: https://github.com/xzzvsxd/StateTrack.
- Abstract(参考訳): 大規模な言語モデルでは、命令に従わずに命令を繰り返すことができる。
本研究では、このリコール対応解離を長軸対話で研究し、ステート・インテリティ・コラプス(State Integrity Collapse)を定義する。
私たちはStateTrack-Benchを紹介します。これは数値、フォーマット、ロール/ペルソナ、ファクトメモリ、論理ルール制約をカバーする、制御された会話スイートです。
プロバイダがピン留めした7つのモデルスナップショットと5つの対話深度プローブ、厳密な関節保持範囲は62.4%から100.0%であり、劣化は象徴的な制約に集中しており、特に不安定なモデルである。
フォークされたリコール監査では、観察された障害の88.6%は、通常忘れることよりも行動障害であることが示された。
深さ50までの拡張評価では、解離がコアベンチマークを超えて継続することを確認する一方、Structured State Anchoringは不変の制約で24.4ポイントまで回復する。
評価は,対話状態が大きくなるにつれて,記憶された制約が動作し続けるかどうかを追跡する必要がある。
コードとアーティファクトは、https://github.com/xzzvsxd/StateTrack.comで入手できる。
関連論文リスト
- DuplexLedger: Benchmarking Transactional Memory in Full-Duplex Speech Agents [52.50536965397534]
フルメモリ音声エージェントは、リスニングと会話を継続的に更新する必要がある。
強い制御とコヒーレントなコヒーレントステートメモリを組み合わせたシステムは存在しない。
本稿では,型付きレトリバーを備えたイベントコントローラACTMemを提案する。
論文 参考訳(メタデータ) (2026-10-20T03:47:06Z) - Hindsight Memory-PRM: Supervising Memory Management with Auditable Hindsight Credit [48.811961095386]
Hindsight Memory-PRMはこの監査パスを2回利用します。
オフラインで操作条件付きメモリユーティリティの批判をトレーニングする。
オンラインでは、検索、引用、および1つの制御された削除と再回答が、介入校正されたエントリーレベルのプレゼンスクレジットを確定する。
論文 参考訳(メタデータ) (2026-08-30T06:53:13Z) - When Should Models Change Their Minds? Contextual Belief Management in Large Language Models [29.030467536821245]
ロングホライゾン相互作用は、蓄積情報を管理するために言語モデルを必要とする。
我々はこの課題をtextbfContextual Belief Management (CBM) として研究する。
CBMは、タスク非関連ノイズを分離しながら、正式な証拠と一致した予測された信念状態を維持している。
論文 参考訳(メタデータ) (2026-05-28T16:52:04Z) - MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。
本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。
ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
論文 参考訳(メタデータ) (2026-05-26T15:38:46Z) - Recall Isn't Enough: Bounding Commitments in Personalized Language Systems [13.15089096070821]
我々は,Lexicographic Commitment Validation (LCV)を用いたコントラクト境界エビデンス活性化(CBEA)を導入する。
CBEAは、型付きカバレッジ、尾の証人、そして結果の負債を使って設定された有界な証拠を起動する;LCVは、散文の前に構造化されたコミットメントを検証する。
CBEA+LCVは0.012個の未コンパイルの可視事実をリコールし、生のリコールは0.53である。
論文 参考訳(メタデータ) (2026-05-15T23:50:15Z) - Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation [0.0]
DriftBenchは、科学的思考における制約の順守を評価するためのベンチマークである。
繰り返し圧力は構造的複雑さを確実に増加させ、しばしば元の制約への固執を減少させる。
オープンベンチマークとして、すべてのブリーフ、プロンプト、ルックス、書き起こし、スコアをリリースします。
論文 参考訳(メタデータ) (2026-04-30T15:46:33Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳(メタデータ) (2026-04-09T10:26:32Z) - CCTU: A Benchmark for Tool Use under Complex Constraints [66.87622847854337]
複雑な制約下での大規模言語モデル(LLM)を評価するためのベンチマークであるCCTUを紹介する。
ベンチマークは、さまざまなツール使用シナリオに対して、慎重にキュレートされ、挑戦的なテストケースが200から成っている。
ステップレベルの検証を行い、コンプライアンスを強制する実行可能な制約検証モジュールを開発する。
論文 参考訳(メタデータ) (2026-03-16T14:05:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。