論文の概要: Asymmetric On-Policy Distillation Learns In-Context Exploration

• arxiv url: http://arxiv.org/abs/2610.30105v1
• Date: Wed, 21 Oct 2026 17:50:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.465099
• Title: Asymmetric On-Policy Distillation Learns In-Context Exploration
• Title（参考訳）: 非対称なオンポリシィ蒸留は文脈探索を学習する
• Abstract要約: ASTEROIDは、テスト時間探索を学習できる教師付き学習フレームワークである。 固定された調査予算の下で2倍のリターンを達成し、RLベースラインよりも100倍少ないインタラクションを使用し、探索においてフロンティアモデルを上回るパフォーマンスを発揮する。
• 参考スコア（独自算出の注目度）: 31.70933434925811
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential decision-making under partial observability is difficult because agents must explore to infer hidden, task-relevant information before acting effectively. Learning such information-gathering behaviors tabula rasa via online reinforcement learning is sample-inefficient, whereas offline imitation averages expert actions across hidden states and fails to learn exploration. In this work, we propose ASTEROID, a simple and effective student--teacher supervised learning framework that can learn test-time exploration. Although a privileged expert never needs to explore, we demonstrate that a history-conditioned student can learn to do so when trained with on-policy contexts: the student first collects on-policy context under partial observability, and the privileged expert provides action labels conditioned on that context. By distilling expert actions directly conditioned on the student's on-policy history, the student learns to systematically resolve partial observability, i.e., search while uncertain and exploit once the hidden state is revealed. This enables efficient test-time exploration (similar to Bayesian posterior sampling) without incurring the impractical training-data costs of reinforcement learning. Across a diverse range of eleven different environments, including discrete exploration benchmarks, robotic manipulation, navigation, and Procgen environments, ASTEROID achieves ~2x higher returns under fixed exploration budgets, uses ~100x fewer interactions than RL baselines, and outperforms frontier models at exploration. Finally, our method transfers policies trained in simulation to vision-denied real-world robot manipulation, exhibiting efficient exploration and increasing success by +40% over standard distillation. Overall, it provides a simple yet surprisingly effective framework to learn efficient test-time exploration.
• Abstract（参考訳）: エージェントは、効果的に行動する前に隠れたタスク関連情報を推測する必要があるため、部分的な可観測性の下でのシーケンシャルな意思決定は困難である。 オンライン強化学習を通じてそのような情報収集行動を学ぶことは、サンプル非効率であるのに対して、オフラインの模倣は隠れた州で専門家の行動を平均し、探索を学ばない。 本研究では,テストタイム探索を学習可能な,シンプルで効果的な教師型学習フレームワークであるASTEROIDを提案する。 特権専門家は、調査する必要は決してないが、我々は、歴史条件のある学生が、政治上の文脈で訓練されたときに、それを学習できることを実証する: 学生はまず、部分的に可観測性の下で政治上の文脈を収集し、特権専門家はその文脈に基づいて行動ラベルを提供する。 学生は、学生の政治史に直接条件付けされた専門家の行動を蒸留することにより、隠された状態が明らかになると、部分的な可観測性を体系的に解決すること、すなわち、不確実な状態で探索し、活用することを学ぶ。 これにより、強化学習の非現実的なトレーニングデータコストを発生させることなく、効率的なテストタイム探索(ベイズ後方サンプリングに似ている)が可能になる。 ASTEROIDは、離散的な探索ベンチマーク、ロボット操作、ナビゲーション、Procgen環境を含む11の多様な環境において、固定された調査予算の下では、約2倍高いリターンを達成し、RLベースラインよりも100倍少ないインタラクションを使用し、探索においてフロンティアモデルを上回るパフォーマンスを実現している。 最後に,本手法は,シミュレーションで訓練したポリシーを実世界のロボット操作に伝達し,効率よく探索し,標準蒸留よりも40%も成功できることを示した。 全体として、効率的なテスト時間探索を学ぶための、シンプルだが驚くほど効果的なフレームワークを提供する。

関連論文リスト

• Decoupling Exploration and Policy Optimization: Uncertainty Guided Tree Search for Hard Exploration [12.531650952835493]
  本稿では,探査段階におけるRLの活用と回避を明確に分離する新たなパラダイムを提案する。 政策最適化のオーバーヘッドを取り除くことにより,本手法は,ハードなAtariベンチマーク上での本質的なモチベーションベースラインよりも,桁違いに効率よく探索する。 得られた軌跡を既存の教師付き後方学習アルゴリズムを用いて,展開可能なポリシに抽出できることを実証した。
  論文  参考訳（メタデータ） (2026-03-23T17:56:52Z)
• OSExpert: Computer-Use Agents Learning Professional Skills via Exploration [55.660669638732024]
  汎用コンピュータ利用エージェントは、人間の専門家ほど役に立たない。 本研究では,環境の単位関数を探索し,検証するための深度優先探索アルゴリズムを提案する。 エージェントは、合成タスクのカリキュラムを自己構築するために、ユニットスキル間の構成性を利用する。
  論文  参考訳（メタデータ） (2026-03-09T05:27:56Z)
• Temporal Representations for Exploration: Learning Complex Exploratory Behavior without Extrinsic Rewards [39.328230174948025]
  本研究では,時間的コントラスト表現を利用して探索をガイドする探索手法を提案する。 このような表現は, 移動, 操作, 組込みAIタスクにおいて, 複雑な探索 x の学習を可能にすることを実証する。
  論文  参考訳（メタデータ） (2026-03-02T15:55:27Z)
• Agent Learning via Early Experience [93.83579011718858]
  言語エージェントの長期的な目標は、彼ら自身の経験から学び、改善することであり、最終的には複雑な現実世界のタスクにおいて人間より優れています。 現在のエージェントのほとんどは、専門家データによる教師付き微調整に依存しており、スケールと一般化が不十分である。 本研究では,(1)環境力学における政策の基盤として収集された状態を利用するインプリシット・ワールド・モデリング,(2)エージェントが最適な行動から学習し,推論と意思決定を改善するための自己回帰という2つの手法について検討する。
  論文  参考訳（メタデータ） (2025-10-09T17:59:17Z)
• Maximum State Entropy Exploration using Predecessor and Successor Representations [17.732962106114478]
  動物は、食物の配置などの重要なタスクにおいて、動物を探索する能力が発達している。 本稿では,過去の叙述的経験を条件に,効率的な探索政策を学習する手法である$etapsi$-Learningを提案する。
  論文  参考訳（メタデータ） (2023-06-26T16:08:26Z)
• BeBold: Exploration Beyond the Boundary of Explored Regions [66.88415950549556]
  本稿では,本質的報酬(IR)の簡便かつ効果的な基準として,逆訪問回数の規制的差異を提案する。 この基準は、エージェントが探索された地域の境界を越えて探索し、短視力や分離などのカウントベースの方法の一般的な問題を緩和するのに役立ちます。 その結果得られたBeBoldは、MiniGridの12の最も難しい手続き的タスクを、カリキュラムの学習なしにわずか120万の環境ステップで解決する。
  論文  参考訳（メタデータ） (2020-12-15T21:26:54Z)
• Planning to Explore via Self-Supervised World Models [120.31359262226758]
  Plan2Exploreは自己監督型強化学習エージェントである。 我々は、自己監督型探索と、新しいタスクへの迅速な適応に対する新しいアプローチを提案する。 Plan2Exploreは、訓練の監督やタスク固有の相互作用がなければ、自己監督型の探査方法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-12T17:59:45Z)
• Never Give Up: Learning Directed Exploration Strategies [63.19616370038824]
  そこで我々は,多岐にわたる探索政策を学習し,ハード・サーベイ・ゲームを解決するための強化学習エージェントを提案する。 エージェントの最近の経験に基づいて,k-アネレスト隣人を用いたエピソード記憶に基づく本質的な報酬を構築し,探索政策を訓練する。 自己教師付き逆動力学モデルを用いて、近くのルックアップの埋め込みを訓練し、エージェントが制御できる新しい信号をバイアスする。
  論文  参考訳（メタデータ） (2020-02-14T13:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。