論文の概要: Learning When to Withdraw: Curriculum Coverage and Rule-Specific Failures in Fine-Tuned Language Agents

• arxiv url: http://arxiv.org/abs/2610.21045v1
• Date: Thu, 15 Oct 2026 00:38:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.111263
• Title: Learning When to Withdraw: Curriculum Coverage and Rule-Specific Failures in Fine-Tuned Language Agents
• Title（参考訳）: 微調整言語エージェントにおけるカリキュラムカバレッジとルール特異的失敗の学習
• Abstract要約: NAQD-Envにおける教師付き微調整について検討した。 Qwen2.5-3B-Instructの4つのLoRAチェックポイントは、オリジナルのカリキュラムをリッチなカリキュラムと比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tool-using language agents must revise prepared actions when evidence changes or authority is revoked. Selective withdrawal means suspending affected actions, preserving supported work, and resuming only after sufficient repair. We study supervised fine-tuning in NAQD-Env, a synthetic environment with explicit dependencies and a deterministic reference policy. Four LoRA checkpoints of Qwen2.5-3B-Instruct compare an original curriculum with an enriched one, the latter under three system-prompt framings with identical views and targets. Three instruction-tuned baselines and all four checkpoints are evaluated under three inference prompts on fresh validation cases, held-out dependency families, and held-out structural combinations. Under the naqd prompt, SFT checkpoints reach decision agreement of 0.77-0.92 and withdrawal recall of 0.46-0.86, versus 0.45-0.63 and at most 0.06 for the baselines. Rule-level diagnostics qualify these gains. The original-curriculum checkpoint wrongly withdraws 26 of 34 actions with surviving alternative support; enriched checkpoints withdraw 0-1. Conversely, all SFT checkpoints narrow prohibited combinations less often than the 7B and 8B baselines, a case absent from both curricula. Delegation results show more withdrawal but poorer preservation of independently authorized actions, and all four checkpoints omit valid event reports. Framing contrasts vary across metrics and splits and do not establish a reproducible advantage or equivalence. One training run per arm, jointly changed curriculum properties, prior evaluation exposure, and baseline-SFT quantization differences limit causal attribution. The contribution is a method for detecting rule-specific regressions that aggregate accuracy can conceal, not evidence that fine-tuning alone ensures agent safety.
• Abstract（参考訳）: ツールを使用する言語エージェントは、証拠が変更されたり権限が取り消された場合、準備された行動を修正する必要がある。 選択的離脱とは、影響を受ける行為を停止し、支援された作業を保持し、十分な修理後のみ再開することを意味する。 NAQD-Envにおける教師付き微調整について検討した。 Qwen2.5-3B-Instructの4つのLoRAチェックポイントは、オリジナルのカリキュラムをリッチなカリキュラムと比較する。 3つの命令調整ベースラインと4つのチェックポイントは、新しい検証ケース、保留依存性ファミリー、保留構造の組み合わせの3つの推論プロンプトに基づいて評価される。 naqdプロンプトでは、SFTチェックポイントは0.77-0.92で、リコールリコールは0.46-0.86で、ベースラインは0.45-0.63で0.06である。 ルールレベルの診断は、これらの利得を認定する。 元のカリキュラムのチェックポイントは、34のアクションのうち26のアクションを間違った形でリタイアし、強化されたチェックポイントは0-1でリタイアした。 逆に、全てのSFTチェックポイントは7Bと8Bのベースラインよりも少ない頻度で制限されている。 譲歩の結果は、より退去するが、独立して認可された行動の保存が貧弱であることを示し、4つのチェックポイントはすべて、有効なイベントレポートを省略する。 フラーミングのコントラストはメトリクスや分割によって異なり、再現可能な優位性や等価性を確立しない。 1つのトレーニングは腕ごとに実行され、共同で変更されたカリキュラム特性、事前評価露光、およびベースライン-SFT量子化差分は因果属性を制限する。 このコントリビューションは、厳密な調整だけでエージェントの安全性が保証されるという証拠ではなく、精度を集約して隠蔽できるルール固有の回帰を検出する方法である。

関連論文リスト

• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• TextualRL: Textual Reinforcement Learning for Context Management [55.50029888438733]
  TextualRLは勾配のない強化学習フレームワークで、同じタスクから同じコンテキスト下でロールアウトするグループを扱う。 Groupwise Policy Critiqueは、タスク内の成功と失敗のロールアウトを対比し、保存する価値のある行動や補修仮説を定式化するためのクロスタスクの証拠を描いている。 Cross-Group Policy Updateは、グループ間でプールされた証拠に対する提案をレビューした。
  論文  参考訳（メタデータ） (2026-10-13T11:47:32Z)
• NAQD Env: A benchmark for selective withdrawal in language agents [0.0]
  言語エージェントは、エビデンスの変更、許可の取り消し、または停止命令が到着した場合、計画されたアクションを修正する必要がある。 有効な応答は選択的で、影響を受けるアクションを中断し、影響のない作業を保持し、十分な修復後にのみ再開する。 本稿では,これらの決定を決定論的参照ポリシーに対して評価する合成環境であるNAQD-Envを紹介する。
  論文  参考訳（メタデータ） (2026-09-29T19:48:41Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• VERPO: Verified Evidence Regularized Policy Optimization [14.40177244052392]
  検証可能な結果報酬は、言語モデルポストトレーニングをガイドするが、シーケンスレベルの利点は、どのトークンレベルの決定を保存または修正すべきかを特定しない。 検証エビデンス正規化政策最適化フレームワークであるVERPOを紹介する。 これは、証拠のない参照復元と署名されたトークンレベルの証拠修正を分離する。
  論文  参考訳（メタデータ） (2026-09-05T13:52:18Z)
• MSA-CITE: A Co-Adapted LoRA Specialist Ecology for Fixed-Budget Small-Model Inference [11.215813718564283]
  複数の廃棄されたチェックポイントを、デプロイのための構成可能な資産として扱います。 4パスのポートフォリオは、200のホールドアウト数学アイテムに対して65.5%の精度を達成している。
  論文  参考訳（メタデータ） (2026-08-11T10:26:06Z)
• BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries [82.41764922522565]
  BOUNDは、永続的な探索ドリフトのための短いガイド付き修正選好蒸留フレームワークである。 Trajectory SFT は Bamboogle で 5.6 EM 、BrowseComp-Plus で 4.8 の精度で上回っている。
  論文  参考訳（メタデータ） (2026-08-09T15:32:16Z)
• ContainmentBench: Trace-Based Evaluation of Post-Injection Containment in Tool-Using LLM Agents [4.018837636907658]
  我々は、ベンチマーク定義のエンドポイントポリシーコンプライアンスを測定するサンドボックスベースのトレースベースのベンチマークを導入する。 集計されたスレッドのランキングは、エビデンスステージの構成と分母の選択によって変化する。 これらの結果から, 終端政策ラベルは, 被曝後の封じ込めに十分な統計量ではないことが示唆された。
  論文  参考訳（メタデータ） (2026-07-27T04:51:20Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• GSAR: Typed Grounding for Hallucination Detection and Recovery in Multi-Agent LLMs [0.0]
  クレームを4方向のタイポロジー(接地,非接地,矛盾,相補的)に分割する基盤性フレームワークを提案する。 GSARは、明示的な計算予算の下で、結合された回復を伴うエビデンス型スコアリングを結合した最初の基盤フレームワークである。
  論文  参考訳（メタデータ） (2026-04-25T16:20:28Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。