論文の概要: Bootstrapping Task Spaces for Self-Improvement

• arxiv url: http://arxiv.org/abs/2509.04575v2
• Date: Tue, 09 Sep 2025 14:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 12:33:22.815656
• Title: Bootstrapping Task Spaces for Self-Improvement
• Title（参考訳）: 自己改善のためのブートストラップタスク空間
• Authors: Minqi Jiang, Andrei Lupu, Yoram Bachrach,
• Abstract要約: 推論時にシーケンスを確実に自己改善できる訓練エージェントは、強化学習の自然なターゲットである。 本稿では,自己改善タスクの繰り返し構造を利用した自己計算RL手法のファミリーであるExploratory Iteration(ExIt)を提案する。 ExItは、エピソード中に遭遇した最も情報に富んだ部分的な履歴を反復的にサンプリングすることで、タスク空間を成長させる。
• 参考スコア（独自算出の注目度）: 22.01711898857759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Progress in many task domains emerges from repeated revisions to previous solution attempts. Training agents that can reliably self-improve over such sequences at inference-time is a natural target for reinforcement learning (RL), yet the naive approach assumes a fixed maximum iteration depth, which can be both costly and arbitrary. We present Exploratory Iteration (ExIt), a family of autocurriculum RL methods that directly exploits the recurrent structure of self-improvement tasks to train LLMs to perform multi-step self-improvement at inference-time while only training on the most informative single-step iterations. ExIt grows a task space by selectively sampling the most informative intermediate, partial histories encountered during an episode for continued iteration, treating these starting points as new self-iteration task instances to train a self-improvement policy. ExIt can further pair with explicit exploration mechanisms to sustain greater task diversity. Across several domains, encompassing competition math, multi-turn tool-use, and machine learning engineering, we demonstrate that ExIt strategies, starting from either a single or many task instances, can produce policies exhibiting strong inference-time self-improvement on held-out task instances, and the ability to iterate towards higher performance over a step budget extending beyond the average iteration depth encountered during training.
• Abstract（参考訳）: 多くのタスクドメインの進歩は、以前のソリューションの試みに対する繰り返しの修正から現れます。 このようなシーケンスを推論時に確実に自己改善できる訓練エージェントは、強化学習(RL)の自然なターゲットである。 本稿では,自己改善タスクの繰り返し構造を直接活用して,多段階の自己改善を推論時に実行し,最も情報に富んだ単一段階の反復のみを訓練する自動計算RL手法のファミリーであるExploratory Iteration(ExIt)を提案する。 ExItは、エピソード中に遭遇した最も情報に富んだ部分的履歴を反復的に選択的にサンプリングし、これらの開始点を自己改善ポリシーをトレーニングするための新しいセルフイテレーションタスクインスタンスとして扱うことで、タスク空間を成長させる。 ExItはさらに明確な探索機構と組み合わせて、タスクの多様性を維持できる。 複数のドメインにまたがって、競争数学、マルチターンツールユース、機械学習エンジニアリングを網羅し、単一のタスクインスタンスまたは複数のタスクインスタンスから始まるExIt戦略が、保留中のタスクインスタンスに対して強い推論時自己改善を示すポリシーと、トレーニング中に遭遇する平均イテレーション深さを超えるステップ予算よりも高いパフォーマンスに向かって反復する能力を生み出すことを実証した。

関連論文リスト

• Bigger, Regularized, Categorical: High-Capacity Value Functions are Efficient Multi-Task Learners [60.75160178669076]
  オンライン強化学習におけるタスク干渉の問題に対して,クロスエントロピーを用いて訓練し,学習可能なタスク埋め込みを条件とした高容量値モデルの使用が課題であることを示す。 280以上のユニークなタスクを持つ7つのマルチタスクベンチマークで、高い自由度ヒューマノイド制御と離散視覚ベースのRLにまたがるアプローチを検証した。
  論文  参考訳（メタデータ） (2025-05-29T06:41:45Z)
• Dense Dynamics-Aware Reward Synthesis: Integrating Prior Experience with Demonstrations [24.041217922654738]
  連続制御問題はスパース・リワード強化学習(RL)タスクとして定式化することができる。 オンラインRLメソッドは、各新しいタスクを解決するために、状態空間を自動的に探索することができる。 しかしながら、非ゼロ報酬につながる行動列の発見は、タスクの水平線が増加するにつれて指数関数的に難しくなる。 本稿では,1)タスク非依存の事前データセットに含まれる情報を抽出し,2)少数のタスク固有の専門家によるデモンストレーションを行う,体系的な報酬形成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-02T04:37:12Z)
• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)
• Multi-Stage Multi-Modal Pre-Training for Automatic Speech Recognition [10.36399200974439]
  本稿では,マルチモーダルとマルチタスクによる教師なし事前学習と,翻訳に基づく教師付き中間学習を併用した新しい手法を提案する。 このような多段階的なアプローチが,Librispeech と SUPERB のベースラインを最大38.45%上回る相対単語誤り率 (WER) の向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-03-28T20:23:39Z)
• Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
  本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。 アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。 我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-30T12:32:43Z)
• In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
  本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。 標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
  論文  参考訳（メタデータ） (2022-01-11T18:44:17Z)
• Towards More Generalizable One-shot Visual Imitation Learning [81.09074706236858]
  汎用ロボットは、幅広いタスクを習得し、過去の経験を生かして、新しいタスクを素早く学ぶことができるべきである。 ワンショット模倣学習(OSIL)は、専門家のデモンストレーションでエージェントを訓練することで、この目標にアプローチする。 我々は、より野心的なマルチタスク設定を調査することで、より高度な一般化能力を追求する。
  論文  参考訳（メタデータ） (2021-10-26T05:49:46Z)
• Trying AGAIN instead of Trying Longer: Prior Learning for Automatic Curriculum Learning [39.489869446313065]
  Deep RL(DRL)コミュニティにおける大きな課題は、見えない状況に対して汎用的なエージェントを訓練することである。 そこで本研究では,(1)教師アルゴリズムがDRLエージェントを高探索カリキュラムで学習し,(2)初回から学習した前処理を蒸留して「専門カリキュラム」を生成する2段階のACLアプローチを提案する。 本研究の目的は,最先端技術に対する平均50%の改善を示すことに加えて,複数の学習者を対象としたACL技術の改良を指向した新たな研究方向性の第一の例を示すことである。
  論文  参考訳（メタデータ） (2020-04-07T07:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。