論文の概要: Environmental Feedback Modeling Matters: Rethinking Feedback Treatment in Agentic Hindsight Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.11384v1
• Date: Thu, 08 Oct 2026 07:16:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.856739
• Title: Environmental Feedback Modeling Matters: Rethinking Feedback Treatment in Agentic Hindsight Self-Distillation
• Title（参考訳）: 環境フィードバックモデリングの課題: 薬物依存型自己蒸留におけるフィードバック処理の再考
• Abstract要約: 強化学習は、対話的な環境で言語エージェントを訓練するのに一般的に使用されるが、報酬が得られない場合、直接適用することはできない。 近年の手法では, 環境フィードバックを後向きの自己蒸留の特権的文脈として利用しているが, 教師にフィードバックを条件付けるだけでは不十分であることが示唆されている。 環境フィードバックモデリング(SELF)を用いたテクスチュニジェンスなSelf-distillationを導入する。 SELFは、フィードバック条件の自己学習者からのガイダンスを抽出しながら、環境反応を予測することを学ぶ。
• 参考スコア（独自算出の注目度）: 41.38015116344807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning is commonly used to train language agents in interactive environments, but cannot be directly applied when rewards are unavailable. Recent methods use environmental feedback as privileged context for hindsight self-distillation, but our analysis suggests that simply conditioning the teacher on feedback is insufficient, motivating us to rethink how environmental feedback is used in agentic self-distillation. Given that environmental feedback contains rich supervision for modeling how the environment responds to agent actions, we introduce \textit{agentic SElf-distilLation with environmental Feedback modeling} (SELF), a framework that jointly optimizes environmental feedback modeling and hindsight self-distillation. SELF learns to predict environmental responses while distilling guidance from a feedback-conditioned self-teacher into the policy. Our analysis reveals a mutually reinforcing mechanism: environmental feedback modeling strengthens hindsight supervision and policy learning, while self-distillation enhances the model's ability to model environmental feedback. With Qwen3-8B, SELF outperforms SDPO and GRPO by 6.4 and 4.1 percentage points in $τ$-bench success rate, and by 10.71 and 3.57 percentage points in AppWorld task goal completion, respectively. These results show that SELF uses environmental feedback more effectively within agentic self-distillation, improving agent capabilities.
• Abstract（参考訳）: 強化学習は、対話的な環境で言語エージェントを訓練するのに一般的に使用されるが、報酬が得られない場合、直接適用することはできない。 近年の手法では, 環境フィードバックを後向きの自己蒸留の特権的文脈として利用しているが, 分析の結果, 単に教師にフィードバックを条件付けるだけでは不十分であることが示唆され, エージェントによる自己蒸留における環境フィードバックの使用方法を再考する動機となっている。 環境フィードバックは, エージェント行動に対する環境の反応をモデル化するための豊富な監督を含むことを前提として, 環境フィードバックモデリングと後向きの自己蒸留を協調的に最適化するフレームワークである, 環境フィードバックモデリングによる環境フィードバックモデリング(SELF)を導入した。 SELFは、フィードバック条件の自己学習者からのガイダンスを抽出しながら、環境反応を予測することを学ぶ。 環境フィードバックモデリングは、後向きの監督と政策学習を強化する一方、自己蒸留は、環境フィードバックをモデル化するモデルの能力を高める。 Qwen3-8Bでは、SELFはSDPOとGRPOをそれぞれ$τ$-bench成功率で6.4と4.1、AppWorldタスクゴール完了率で10.71と3.57で上回っている。 これらの結果から,SELFはエージェントの自己蒸留においてより効果的に環境フィードバックを使用し,エージェント能力を向上させることが示唆された。

関連論文リスト

• RSI-Forge: From Research Papers to Environments for Recursive Self-Improvement [37.584931570894696]
  RSI-Forgeは論文を自己改善のために実行可能な環境に変える。 我々は18の分野にまたがって210の環境を提示し、90の人間ドメインの専門家によるレビューを行った。
  論文  参考訳（メタデータ） (2026-10-07T04:27:21Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation [71.16738415436458]
  本稿では、生の障害フィードバックを補正管理のアクティブソースに変換するフレームワークであるReflection-Enhanced Self-Distillation(RESD)を紹介する。 RESDは、局所的なエラーを診断するために振り返りリフレクションを生成し、持続的なグローバルなプレイブックをキュレートすることで、障害の軌跡を解釈する。 複数の連続学習課題に対する実証的な評価は、RESDが標準の自己蒸留ベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-12T20:46:05Z)
• Autonomous Continual Learning of Computer-Use Agents for Environment Adaptation [57.65688895630163]
  ACuRLは自律的なカリキュラム強化学習フレームワークで、エージェントを人間データゼロの特定の環境に継続的に適応させる。 本研究では,環境内学習と環境横断学習の両方を効果的に実現し,既存の環境を忘れずに4～22%の性能向上を実現した。
  論文  参考訳（メタデータ） (2026-02-10T23:06:02Z)
• GAN Based Top-Down View Synthesis in Reinforcement Learning Environments [0.36427222462368697]
  本研究は, GAN(Generative Adversarial Network)を用いた, 人工エージェントの初対人視点観測に基づくRL環境のトップダウンビューの学習について検討する。 プロジェクトの焦点は、RL環境のトップダウンビューを学ぶことです。強化学習のタスクには対処しません。
  論文  参考訳（メタデータ） (2024-10-16T08:44:23Z)
• Information is Power: Intrinsic Control via Information Capture [110.3143711650806]
  我々は,潜時状態空間モデルを用いて推定したエージェントの状態訪問のエントロピーを最小化する,コンパクトで汎用的な学習目的を論じる。 この目的は、不確実性の低減に対応する環境情報収集と、将来の世界状態の予測不可能性の低減に対応する環境制御の両方をエージェントに誘導する。
  論文  参考訳（メタデータ） (2021-12-07T18:50:42Z)
• Ecological Reinforcement Learning [76.9893572776141]
  このような条件下での学習を容易にする環境特性について検討する。 環境の特性が強化学習エージェントのパフォーマンスにどのように影響するかを理解することは、学習を魅力的にする方法でタスクを構造化するのに役立ちます。
  論文  参考訳（メタデータ） (2020-06-22T17:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。