論文の概要: StateAlign: Internalizing State-Aware Decision-Making for Reliable Multi-Turn Tool Agents via Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.16304v1
- Date: Thu, 12 Nov 2026 05:04:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.364013
- Title: StateAlign: Internalizing State-Aware Decision-Making for Reliable Multi-Turn Tool Agents via Reinforcement Learning
- Title(参考訳): StateAlign: 強化学習による信頼性の高いマルチタスクツールエージェントのための状態認識意思決定の内部化
- Abstract要約: タスク状態構築とステートコントラスト強化学習を組み合わせたStateAlignを紹介する。
実験では、BFCL v4のマルチターン、ToolSandbox、When2Callの改善が示されている。
完全な方法は、さらに3つのQwen3サイズにわたるツール幻覚を減らす。
- 参考スコア(独自算出の注目度): 25.28242612860113
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning has improved the tool-use capabilities of large language models. However, better task performance can coincide with increased tool hallucination. Reliable tool use requires decisions to follow the current task state: available information, tool capabilities, and task progress. Our analysis shows that agents sometimes execute when they should ask for information, retrieve it, or decline an infeasible request, even when reasoning identifies missing information. We introduce StateAlign, combining task-state construction with state-contrastive reinforcement learning. The data cover five task conditions and pair states with different action requirements. Outcome rewards guide task completion; token-level contrasts compare the same generated reasoning and actions under paired states to train outputs that fit the current state. Experiments across five base models from three families show improvements on BFCL v4 multi-turn, ToolSandbox, and When2Call. Ablations show that state construction improves performance and reliability under different reward designs. The complete method further reduces tool hallucination across three Qwen3 sizes. On Qwen3-8B, StateAlign improves BFCL v4 multi-turn accuracy from 45.5% to 55.2% and reduces no-tool hallucination on SimpleToolHalluBench from 62.2% under outcome-only training to 56.1%. Behavioral analyses show more consistent decisions, more complete multi-call execution, and stronger recovery after tool errors.
- Abstract(参考訳): 強化学習は、大きな言語モデルのツール使用能力を改善した。
しかし、より良いタスクパフォーマンスは、ツール幻覚の増加と一致します。
信頼性の高いツールの使用には、現在のタスク状態(利用可能な情報、ツール機能、タスク進捗)に従うための決定が必要である。
分析の結果,エージェントが情報を要求したり,検索したり,もし情報不足を理由づけたとしても,実現不可能な要求を断ったりする場合に,エージェントが実行されることが判明した。
タスク状態構築とステートコントラスト強化学習を組み合わせたStateAlignを紹介する。
データには5つのタスク条件と、異なるアクション要件を持つペア状態が含まれている。
トークンレベルのコントラストは同じ生成された推論とペア状態下でのアクションを比較して、現在の状態に合ったアウトプットをトレーニングする。
3つのファミリーの5つのベースモデルを対象とした実験では、BFCL v4マルチターン、ToolSandbox、When2Callの改善が示されている。
アブレーションは、状態構造が異なる報酬設計の下で性能と信頼性を向上させることを示している。
完全な方法は、さらに3つのQwen3サイズにわたるツール幻覚を減らす。
Qwen3-8Bでは、StateAlignはBFCL v4のマルチターン精度を45.5%から55.2%に改善し、SimpleToolHalluBenchのノーツール幻覚を62.2%から56.1%に低減した。
行動分析は、より一貫性のある決定、より完全なマルチコール実行、ツールエラー後のリカバリを示す。
関連論文リスト
- When Credit Turns Against Tools: Transition-Aware Credit Assignment in Agentic Reinforcement Learning [49.44043710258054]
検証可能な報酬によるエージェント強化学習は、多ターンツールインタラクションを通じて言語モデルを訓練する。
しかし、彼らの推論性能とツールコール能力は、トレーニング中に低下する可能性がある。
我々は、この抑制に対抗するために、Transition-Aware Credit Assignment (TACA)を提案する。
論文 参考訳(メタデータ) (2026-11-08T12:11:17Z) - EmbodiedEvo: Self-Evolving Coding Agent For Physical Intelligence [5.550735065870032]
EmbodiedEvoは自己進化型コーディングエージェントで、物理的なフィードバックを再利用可能なコードスキルと診断レッスンに蒸留する。
RoboDojo-Simでは、EmbodiedEvoの平均スコアは44.48で、成功率は37.82%で、公式に確認されたすべての結果を上回っている。
論文 参考訳(メタデータ) (2026-10-13T17:59:51Z) - VERSE: Verified Self-Evolving Optimizer for Agent Harnesses [27.114517231289202]
エージェントが、障害の診断方法を改善し、編集を開発し、その効果をテストすることによって、他のエージェントをより効果的に改善できるかどうかを検討する。
制御された研究では、自己進化は実行ベースの検証なしでパフォーマンスを改善することができない。
これらの知見に触発され,エージェントハーネスの検証自己進化であるVERSEを導入した。
論文 参考訳(メタデータ) (2026-10-02T00:16:30Z) - Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳(メタデータ) (2026-08-25T13:59:34Z) - MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents [50.27505102982638]
本稿では,ツールコールエージェントのベンチマークおよび評価フレームワークであるMM-ToolSandBoxを紹介する。
このフレームワークは16のアプリケーションドメインで500以上のツールにまたがるステートフルな実行環境を提供する。
マルチイメージのマルチターンタスクをサポートしており、エージェントは実行可能ツールコールに徐々に視覚的な入力を入力しなければならない。
論文 参考訳(メタデータ) (2026-07-13T17:13:09Z) - SENTINEL: Failure-Driven Reinforcement Learning for Training Tool-Using Language Model Agents [52.758563996979596]
言語モデルエージェントは、マルチターンツールの使用によって現実的なタスクを解決するのにますます効果的である。
SENTINELは障害駆動型強化学習フレームワークで,障害のロールアウトを目標とするトレーニングタスクに変換する。
Tau2-Bench Retail with Qwen3-4B-Thinking-2507では、SENTINELはPass1を66.4から74.9に改善し、Passkメトリクス全体にわたる一般的な合成タスクにおいてRLを上回っている。
論文 参考訳(メタデータ) (2026-06-11T05:06:50Z) - Agentic-MME: What Agentic Capability Really Brings to Multimodal Intelligence? [35.30497528897595]
Agentic-MMEはマルチモーダルエージェント能力のプロセス検証ベンチマークである。
6つのドメインにまたがる418の現実世界タスクと3つの困難レベルを含んでいる。
2,000以上のステップワイズなチェックポイントがあり、1タスクあたり平均10時間以上の手動アノテーションがある。
論文 参考訳(メタデータ) (2026-04-03T13:02:01Z) - DIVE: Scaling Diversity in Agentic Task Synthesis for Generalizable Tool Use [66.02634251098537]
DIVEデータ(48k SFT + 3.2k RL)上のQwen3-8Bのトレーニングは、9OODベンチマークで+22ポイント向上し、+68で最強の8Bベースラインを上回っている。
論文 参考訳(メタデータ) (2026-03-10T20:54:23Z) - Acting Less is Reasoning More! Teaching Model to Act Efficiently [87.28134636548705]
ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。
現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。
最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。
このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
論文 参考訳(メタデータ) (2025-04-21T05:40:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。