論文の概要: Lost with a Map: Conversational State and Behavioral Reliability in Language Models
- arxiv url: http://arxiv.org/abs/2609.33883v1
- Date: Sun, 27 Sep 2026 19:57:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 16:00:39.794148
- Title: Lost with a Map: Conversational State and Behavioral Reliability in Language Models
- Title(参考訳): 地図による損失:言語モデルにおける会話状態と行動信頼性
- Abstract要約: タスク指向の対話はターン間で情報の維持と更新を必要とするが、言語モデルは明示的な信念状態のオブジェクトを公開しない。
我々は,MultiWOZとSGDの4つのファミリーから8つの命令調整言語モデルの中で,会話状態がどのように表現され,更新され,使用されるかを検討する。
- 参考スコア(独自算出の注目度): 5.8120627413404184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Task-oriented dialogue requires maintaining and updating information across turns, yet language models expose no explicit belief-state object. We study how conversational state is represented, updated, and used inside eight instruction-tuned language models from four families on MultiWOZ and SGD. Structure and values separate: which domains, slots, and requests are active is linearly readable just before the model acts, whereas exact values are far more readable where the user stated them. After a user changes a value, both values remain accessible at their mentions, and causal interventions show that both continue to influence the model's action. In natural closed-loop interaction, query failures separate into cases of weak structural support, incorrect value resolution, and failure to deploy otherwise-supported constraints, with targeted interventions producing systematically different repair behavior across these cases. These findings motivate a state-action controller that starts from the base model action and selectively edits it using structural readouts, without requiring a complete predicted belief state as an intermediate representation. On held-out MultiWOZ interaction across five models, it raises the base model exact-query accuracy from .318 to .621 and task success from .272 to .371 at negligible added cost. Overall, reliable interaction requires not only retaining conversational information, but resolving which available constraints currently apply and ensuring that they govern action.
- Abstract(参考訳): タスク指向の対話はターン間で情報の維持と更新を必要とするが、言語モデルは明示的な信念状態のオブジェクトを公開しない。
我々は,MultiWOZとSGDの4つのファミリーから8つの命令調整言語モデルの中で,会話状態がどのように表現され,更新され,使用されるかを検討する。
構造と値を分離する: どのドメイン、スロット、リクエストがアクティブかは、モデルが作用する直前に線形に読み取り可能である。
ユーザが値を変更した後、両方の値が参照時にアクセス可能であり、因果的介入は、どちらもモデルのアクションに影響を与え続けていることを示している。
自然なクローズドループ相互作用では、クエリ障害は、弱い構造的サポート、不正な値解決、その他サポートされていない制約のデプロイに失敗するケースに分離される。
これらの知見は、ベースモデルアクションから始まり、中間表現として完全に予測された信念状態を必要とせず、構造的読み出しを用いて選択的に編集する状態アクションコントローラを動機付けている。
5つのモデルにまたがるMultiWOZインタラクションでは、ベースモデルの正確なクエリ精度を.318から.621に引き上げ、タスク成功率を.272から.371に負の付加コストで引き上げる。
全体として、信頼できるインタラクションは、会話情報を保持するだけでなく、現在どの制約が適用されているかの解決と、それらが行動を支配することを保証する必要がある。
関連論文リスト
- Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering [87.43777061308658]
フル音声言語モデル(FDSLM)における予測行動の解析
FDSLMは、モデル出力生成に整合した生成状態と、ユーザ入力に整合した知覚状態の2つの状態間の内部焦点を動的に変調する。
ユーザ中断中は、モデルが知覚状態に遷移する前に生成状態に対して過渡的に偏りを保ち、入力の開始を逃す。
論文 参考訳(メタデータ) (2026-06-09T19:08:07Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳(メタデータ) (2026-05-13T21:34:08Z) - ReIn: Conversational Error Recovery with Reasoning Inception [43.5498321001366]
本研究は,誤対話コンテキストの正確な診断と適切な回復計画の実行を必要とする誤り回復に焦点を当てる。
エージェントの意思決定プロセスに初期推論を組み込むテスト時間介入手法であるReasoning Inception (ReIn)を提案する。
ユーザ目標の達成を阻害する会話障害シナリオをシステマティックにシミュレートすることでReInを評価する。
論文 参考訳(メタデータ) (2026-02-19T02:37:29Z) - One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。
既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。
マルチターン命令追従能力を評価するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-05T14:39:59Z) - Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。
Instruct-Verify-and-Act(IVA)を提案する。
実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
論文 参考訳(メタデータ) (2025-08-22T10:54:33Z) - Analyzing Semantic Faithfulness of Language Models via Input
Intervention on Question Answering [4.799822253865053]
本研究では,意味的忠実性の概念を定式化し,テキストの意味的内容が質問応答におけるモデルの推論を因果的に判断する。
削除介入と否定介入という2つのセマンティック介入を実行すると、トランスフォーマーモデルは意味的に忠実でないことが示される。
本稿では,削除介入に対する望ましくない効果を,かなりのマージンで軽減できる介入ベーストレーニング体制を提案する。
論文 参考訳(メタデータ) (2022-12-21T00:00:01Z) - Learning Interpretable Latent Dialogue Actions With Less Supervision [3.42658286826597]
本稿では,個別変数を用いたタスク指向対話のモデル化のための新しいアーキテクチャを提案する。
本モデルは,変化型リカレントニューラルネットワーク(VRNN)に基づいており,意味情報の明示的なアノテーションを必要としない。
論文 参考訳(メタデータ) (2022-09-22T16:14:06Z) - Dynamic Hybrid Relation Network for Cross-Domain Context-Dependent
Semantic Parsing [52.24507547010127]
ドメイン間コンテキスト依存のセマンティック解析は研究の新たな焦点である。
本稿では,コンテキストの発話,トークン,データベーススキーマ,会話の進行に伴う複雑なインタラクションを効果的にモデル化する動的グラフフレームワークを提案する。
提案したフレームワークは既存のモデルを大きなマージンで上回り、2つの大規模ベンチマークで新しい最先端性能を達成する。
論文 参考訳(メタデータ) (2021-01-05T18:11:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。