論文の概要: Don't Mask the Environment: Observation Supervision Changes How Agents Explore Under RL

• arxiv url: http://arxiv.org/abs/2609.20715v1
• Date: Thu, 17 Sep 2026 17:11:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.39558
• Title: Don't Mask the Environment: Observation Supervision Changes How Agents Explore Under RL
• Title（参考訳）: 環境をマスクするな - エージェントがRLの下でどのように探索するかを観察するスーパービジョン
• Abstract要約: 本稿では,各軌道にすでに存在する観測トークンを監督するActObsを紹介する。 配備されたエージェントは観測を決して生成しないが、それらを予測するための学習は、アクションの結果をモデル化するポリシーを奨励する。
• 参考スコア（独自算出の注目度）: 11.111311157819214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent trajectories record what an agent does and what happens next. Yet standard supervised fine-tuning (SFT) applies loss only to agent-authored action tokens, using environment observations as context but not as prediction targets. We ask whether this convention provides the best initialization for subsequent reinforcement learning. We introduce ActObs, which also supervises the observation tokens already present in each trajectory. Although deployed agents never generate observations, learning to predict them encourages the policy to model action consequences without adding data, parameters, sequence tokens, or forward passes. The methods perform similarly after SFT but diverge after GRPO. On Qwen3-4B, GRPO from ActObs achieves higher pass@k at every evaluated sampling budget than its action-only counterpart on Terminal-Bench 2.0. On Qwen3-8B, it trades some pass@1 reliability for higher pass@k (+3.4 pp at pass@16) and solves more distinct tasks. The advantage extends to cross-domain code editing on aider-polyglot (+4.2 pp at pass@1 at 4B), whose tasks are unseen during SFT and RL. ActObs retains more entropy during RL while requiring less policy movement, leaving the final policy closer to its SFT initialization. Our analysis traces this difference to SFT: action and observation gradients rapidly become orthogonal, while action-only training leaves a large residual observation gradient and degrades environment prediction below the base model. Joint supervision prevents this one-sided specialization, preserving consequence prediction and preparing the policy for downstream exploration.
• Abstract（参考訳）: エージェントトラジェクトリは、エージェントが何をし、次に何が起こるかを記録する。 しかし、SFT(Standard supervised fine-tuning)は、環境観測をコンテキストとして、予測対象としてではなく、エージェント認可されたアクショントークンにのみ損失を適用している。 この規約がその後の強化学習に最適な初期化を提供するかどうかを問う。 本稿では,各軌道にすでに存在する観測トークンを監督するActObsを紹介する。 デプロイされたエージェントは、観測を決して生成しないが、それらを予測するための学習は、データ、パラメータ、シーケンストークン、フォワードパスを追加することなく、アクションの結果をモデル化するポリシーを奨励する。 SFT後にも同様に動作するが、GRPO後に発散する。 Qwen3-4B では ActObs の GRPO が Terminal-Bench 2.0 でのアクションのみの処理よりも,評価済みのサンプリング予算毎のパス@k を達成している。 Qwen3-8Bでは、パス@1の信頼性を高いパス@k(+3.4pp at pass@16)と交換し、より明確なタスクを解決している。 アドバンテージは、aider-polyglot (+4.2 pp at pass@1 at 4B) 上のクロスドメインコード編集にまで拡張され、SFTとRLの間はタスクが見えない。 ActObsは、RLの間、よりエントロピーを維持しつつ、政策運動を少なくし、最終的な方針はSFTの初期化に近づいたままである。 動作と観測の勾配は急速に直交し, 動作のみのトレーニングでは大きな残留観測勾配を残し, 環境予測をベースモデルより下方へ下方へ下方へ下方へ下方へ下方へ下方へ下方へ下方へ下方へ下方へ下方へ下方へ下る。 共同監督は、この一方的な特殊化を防ぎ、結果予測を保持し、下流探検のための政策を準備している。

関連論文リスト

• Uncertainty-Guided Sparse Refinement for Action Chunking Transformer Policies [10.02061062596699]
  最近のアクションチャンキング手法は、時間的に拡張されたアクションシーケンスを予測することによって、有望な性能を示す。 本研究では,チャンクベースのビジュモータポリシのためのスパース改良フレームワークであるUncertainty-Guided Refinement (UGR)を提案する。
  論文  参考訳（メタデータ） (2026-09-14T16:37:35Z)
• JEPA Policy: Diffusion-Free Imitation Learning via Paired Action and Future Representation Prediction [6.889062419237111]
  JEPA Policyは、アクションチャンクとその観測された将来の表現をペア化されたトレーニングターゲットとして使用する、拡散のないフレームワークである。 将来の予測は、アクションを生成するために使われる表現を形作ることができる。 その結果、反復的な生成サンプリングを伴わない低遅延ビズモータ模倣に対する実践的なアプローチとして、ペア・フューチャー・リ表現の監視を支援する。
  論文  参考訳（メタデータ） (2026-09-09T02:42:20Z)
• Proxy Policy Steering [18.880191675273796]
  汎用的なロボットポリシーは、大規模なデータから幅広い操作を先取りするが、それらを新しいタスクに専門化することは、デプロイメントのボトルネックのままである。 本稿では、この課題を解決する推論時適応法であるプロキシポリシーステアリング(PPS)を紹介する。 PPSは最先端のpi 0.5ベースポリシーを平均53%の絶対的な成功率で引き上げ、ベースが解決しないタスクでゼロ対1のゲインを得る。
  論文  参考訳（メタデータ） (2026-09-08T17:59:03Z)
• RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
  継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。 最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。 我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2026-07-05T15:46:11Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Rollout Pass-Rate Control: Steering Binary-Reward RL Toward Its Most Informative Regime [28.346931878148524]
  Prefix Sampling (PS)は、自己生成した軌跡の接頭辞を再生し、スキュードグループをこの体制に向けて操る。 PSは評価変数のベースラインのハイスコア状態に達し、2.01xと1.55xのエンドツーエンドのウォールクロックスピードアップを提供する。 AIME 2025は4Bと8Bで同じパスレート制御パターンを示した。
  論文  参考訳（メタデータ） (2026-05-06T16:44:38Z)
• Delightful Policy Gradient [1.1886634182318419]
  標準政策は、その行動が現在の政策の下にある可能性に関係なく、各アクションを単独でサンプリングした。 textitDelightful Policy Gradient (DG)を導入し、Emphdelightのシグミド、利点の産物、およびアクション・サプライサル(負の対数確率)を各項にゲートする。 $Kの武器を持つ包帯の場合、DGは単一のコンテキストにおける方向精度を確実に改善し、複数のコンテキストにわたって、期待される勾配を教師付きクロスエントロピーオラクルに近づける。
  論文  参考訳（メタデータ） (2026-03-15T21:06:37Z)
• ResT: Reshaping Token-Level Policy Gradients for Tool-Use Large Language Models [62.82372407840088]
  大規模言語モデル(LLM)は受動的生成を超越し、外部ツールを呼び出すことで目標指向エージェントとして機能する。 textbfReshaped textbfToken-level policy gradients (textbfResT) for tool-use task。 textbfResTは最先端の結果を達成し、以前のメソッドを最大8.76%$で上回っている。
  論文  参考訳（メタデータ） (2025-09-26T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。