論文の概要: StateWise: Teaching Language Models to Track and Obey Evolving Constraints in Multi-Turn Dialogue
- arxiv url: http://arxiv.org/abs/2610.33766v1
- Date: Sat, 24 Oct 2026 16:17:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.44
- Title: StateWise: Teaching Language Models to Track and Obey Evolving Constraints in Multi-Turn Dialogue
- Title（参考訳）: StateWise:マルチトゥルン対話における制約を追及する言語モデル
- Abstract要約: StateWiseは、訓練された会話アシスタントに対する自己改善のアプローチである。
単一のLSMに独自の変更可能な制約状態を維持するように教えている。
教師付き自己訓練と比較して8-22ポイントのリラプスを減少させる。
- 参考スコア（独自算出の注目度）: 1.4084840829725438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Users of conversational assistants rarely state all requirements up front: they add constraints, amend them, withdraw them, digress, and return. Instruction-tuned LLMs fail here in two ways: active constraints stop being honored as turns accumulate (persistence failure), and withdrawn constraints keep being enacted (relapse). The only existing repair we know of is an external ledger that re-injects a compiled specification every turn. We propose StateWise, a self-improving approach that teaches a single LLM to maintain its own revisable constraint state, a typed state with tombstones for revoked constraints, so persistence and relapse are measured by executable checkers and ground-truth states are compiled for free. StateWise fine-tunes the LLM on two complementary skills, summarizing a dialogue into its constraint state and responding conditioned on that state, then self-trains on its own trajectories, keeping only turns that pass an exact round-trip check against the compiled state. This teaches 7-8B models to track the state almost perfectly but, surprisingly, not to obey it: on Llama-3.1-8B every supervised variant roughly doubles relapse. We therefore add a preference stage on self-generated relapse contrasts, where the rejected response enacts a revoked rule and the chosen one passes the round-trip check. On two backbones with held-out constraint families and unseen phrasings, StateWise cuts relapse by 8-22 points relative to supervised self-training, lifts conversation success by 8-19 points over the backbone, and beats an oracle compiled-ledger baseline on relapse with no inference-time scaffolding. We also characterize the recipe's cost on general instruction-following benchmarks and study weight interpolation as a mitigation.
- Abstract（参考訳）: 会話アシスタントのユーザは,すべての要件を事前に記述することは滅多にありません。
アクティブな制約は、ターンが蓄積される(永続的な失敗)と、削除された制約が実行され続ける(再発)という2つの方法で失敗する。
私たちが知っている唯一の修復は、毎回コンパイルされた仕様を再注入する外部の台帳です。
本研究では, 1 つの LLM に自身の変更可能な制約状態の維持を指導する自己改善手法 StateWise を提案する。
StateWiseはLLMを2つの補完的なスキルで微調整し、ダイアログをその制約状態に要約し、その状態に条件付きで応答する。
これは7-8Bモデルにほぼ完璧に状態を追跡するように教えるが、驚くことにそれに従わない。
したがって、自己生成された再帰コントラストに優先段階を追加し、拒否された応答が取り消しルールを実行し、選択した応答がラウンドトリップチェックを通過させる。
拘束された制約された家族と目に見えないフレーズを持つ2つのバックボーンでは、StateWiseは教師付き自己訓練と比較して8～22ポイントのリラプスをカットし、バックボーン上での会話の成功を8～19ポイント引き上げ、推論時の足場のないリラプスでオラクルのコンパイルされたリーガーベースラインを打ち負かす。
また、一般的な指示追従ベンチマークにおけるレシピのコストと重量補間を緩和として研究する。
関連論文リスト
- Measuring the Stability Assumption Behind Action Chunking [0.0]
システムに入ると、アクションエラーに何が起こるかを調べる。
2つの実行体制の下で、どれだけの速さで成長するか、縮小するかを測定します。
安定な状態は稀であるが, 伝播率の低い状態では誤差増幅が一般的である。
論文 参考訳（メタデータ） (2026-10-01T12:57:51Z) - Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。
これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
論文 参考訳（メタデータ） (2026-09-26T21:56:26Z) - ForceRFT: Refining VLA Actions through Force-Guided Residual Reinforcement Learning [10.418397316382782]
ForceRFTは、フォース誘導強化学習フレームワークである。
人間の監督や自律的なタスクの結果からコンタクト依存の修正を学ぶ。
プラグ挿入、リングオンペグ組立、ホワイトボードワイピングの実験は、評価された実演訓練および残像ベースラインよりも高い自律的な成功率を示した。
論文 参考訳（メタデータ） (2026-09-19T07:16:11Z) - Rollback the World, Keep the Reflection: Rollback-Induced Reflection for Long-Horizon LLM Agents [56.434418859203085]
大規模言語モデル(LLM)エージェントは、多段階の環境相互作用を通じて、長い水平タスクに対処する。
単一の誤動作は、その後の状態や観測を変更でき、時間とともにエラーが複雑になる。
信頼性回復はロールバック境界制御問題として扱われるべきである。
論文 参考訳（メタデータ） (2026-09-16T08:26:14Z) - Dead text or binding clause? Measuring and restoring constraint influence in black-box LLM dialogues [0.0]
マルチターンダイアログは、ユーザが制約を課すのと同じくらい簡単に取り消すことができるが、取り消しが確実に効果を発揮できない。
既存の手段では、条項ごとにこの影響を測定したり、納品前に予測したり、整合した予算の下で修復したりすることはない。
sysnameはモデルAPIだけで3つのギャップを埋める。
論文 参考訳（メタデータ） (2026-08-12T21:12:32Z) - Adaptive state-action abstractions via rate-distortion [52.25810164390199]
強化学習は、複雑なタスクの単純なバージョンを構築するための複数のテクニックを提供する。
本稿では,抽象化自体によって引き起こされる誤りに匹敵する学習エラーが生じたら,抽象化を洗練させるという原理を提案する。
論文 参考訳（メタデータ） (2026-06-04T13:10:18Z) - Completion at the Boundary (CaB): Deployable Switching with Completion-Aware Control under Limited Calibration [0.0]
我々は、オープンエンドの教育空間を動機とした、デプロイ可能な低校正体制下での完了について研究する。
本稿では,境界値の形式でイベントローカルな完了オブジェクトを予測する境界値のコンプリートを提案する。
その結果,CaB は Minecraft VLA の1対1のベンチマークにおいて,キャパシティとデプロイ性に制約のある条件下で,複合実行とハンドオフ品質を改善していることがわかった。
論文 参考訳（メタデータ） (2026-05-29T02:48:13Z) - Ghost in the Context: Measuring Policy-Carriage Failures in Decision-Time Assembly [0.0]
LLMエージェントは生のインタラクション履歴に作用せず、トランケーション、要約、並べ替え、書き換えによって組み立てられた境界決定状態に作用する。
本研究では, 局所的なLlama 3.1 8B, Qwen 2.5 7B, Mistral 7B上の障害モードについて, 正確な制約の尊重と, 組立状態の可視性の直接監査を用いて検討した。
論文 参考訳（メタデータ） (2026-05-02T18:07:42Z) - Automatic Curriculum Expert Iteration for Reliable LLM Reasoning [60.60318625779015]
幻覚(すなわち、可塑性だが不正確な内容を生成する)と怠慢(すなわち過剰な拒絶や「私は知らない」のデフォルト)は、LLM推論における主要な課題として残る。
幻覚を減らそうとする現在の取り組みは、主に知識に基づくタスクにおける事実的誤りに焦点を当てており、しばしば欠陥推論に関連する幻覚を無視している。
本稿では,LLM推論を強化し,モデルの能力に応答する自動カリキュラムエキスパートイテレーション(Auto-CEI)を提案する。
論文 参考訳（メタデータ） (2024-10-10T05:43:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。