論文の概要: Task Specialization Fine-Tuning for Contextual Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.17180v1
• Date: Mon, 17 Aug 2026 22:42:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.156817
• Title: Task Specialization Fine-Tuning for Contextual Reinforcement Learning
• Title（参考訳）: 文脈強化学習のためのタスクスペシャライゼーションファインタニング
• Abstract要約: 文脈強化学習(CRL)は、関連するタスクのコンテキスト空間にわたるタスクカバレッジを最大化することにより、古典的RLの一般化を目指している。 優れた初期性能を持つ1つのポリシーを事前訓練し、タスク専門化のための複数のポリシーを微調整する、統一的な代替手段を提唱する。 これは、事前訓練されたポリシーと制約された予算を前提として、各タスク領域がサンプル効率のCRLを実現するためにどの程度の微調整を受けるべきかという、重要な研究課題を提起する。 この目的のために、簡単なパラメトリックモデルを用いて微調整性能を予測し、その結果を正確に解決するオンラインフレームワークであるタスクファインチューニング(TSFT)を提案する。
• 参考スコア（独自算出の注目度）: 14.54687029803924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contextual Reinforcement Learning (CRL) seeks to generalize classical RL by maximizing task coverage across a context space of related tasks. While prior works often train from scratch and rely on either multi-task learning for a single policy or strategically training multiple policies, we advocate for a unified alternative: pretraining a single policy with good initial performance, followed by fine-tuning multiple policies for task specialization. This new paradigm, however, introduces unique challenges, such as heterogeneous marginal returns and sample inefficiency. This raises a critical research question: given a pretrained policy and a constrained budget, how much fine-tuning should each task region receive to enable sample-efficient CRL? To this end, we propose Task Specialization Fine-Tuning (TSFT), an online framework that predicts fine-tuning performance with a simple parametric model and exactly solves the resulting discrete budget allocation problem via integer linear programming. Extensive experiments across diverse decision domains, including combinatorial optimization, continuous control, and LLM fine-tuning, demonstrate that TSFT significantly outperforms baselines in task coverage and approaches oracle performance. Our work charts a new direction for model-based CRL, aligning with the modern pretrain-finetune era.
• Abstract（参考訳）: 文脈強化学習(CRL)は、関連するタスクのコンテキスト空間にわたるタスクカバレッジを最大化することにより、古典的RLの一般化を目指している。 事前の作業はスクラッチからトレーニングし,マルチタスク学習をひとつのポリシにするか,あるいは複数のポリシを戦略的にトレーニングするかに大きく依存することが多いが,私たちは,ひとつのポリシを優れた初期パフォーマンスで事前トレーニングし,タスクの専門化のために複数のポリシを微調整する,という,統一的な代替手段を提唱する。 しかし、この新しいパラダイムは、不均一な辺りのリターンやサンプルの非効率など、ユニークな課題を導入している。 これは、事前訓練されたポリシーと制約された予算を前提として、各タスク領域がサンプル効率のCRLを実現するためにどの程度の微調整を受けるべきかという、重要な研究課題を提起する。 この目的のために、簡単なパラメトリックモデルで微調整性能を予測し、整数線形プログラミングによる離散的な予算配分問題を正確に解決するオンラインフレームワークであるタスク特化細調整(TSFT)を提案する。 組合せ最適化、連続制御、LLM微調整を含む様々な決定領域にわたる広範な実験は、TSFTがタスクカバレッジとオラクル性能のアプローチにおいて、ベースラインを著しく上回ることを示した。 私たちの研究は、モデルベースCRLの新しい方向性を、現代のプレトレイン・ファインチューン時代に合わせて表しています。

関連論文リスト

• Zero-Shot Off-Policy Learning [9.729890516322781]
  オフ政治学習法は、事前の相互作用の固定されたデータセットから直接最適なポリシーを導き出そうとする。 本研究では, 定常密度比に対する後継対策の理論的関連を見出すことにより, ゼロショット環境での政治外問題に対処する。 提案アルゴリズムは最適な重要度サンプリング比を推定し,任意のタスクに対して最適なポリシで定常分布補正を効果的に行う。
  論文  参考訳（メタデータ） (2026-02-02T11:06:31Z)
• Bigger, Regularized, Categorical: High-Capacity Value Functions are Efficient Multi-Task Learners [60.75160178669076]
  オンライン強化学習におけるタスク干渉の問題に対して,クロスエントロピーを用いて訓練し,学習可能なタスク埋め込みを条件とした高容量値モデルの使用が課題であることを示す。 280以上のユニークなタスクを持つ7つのマルチタスクベンチマークで、高い自由度ヒューマノイド制御と離散視覚ベースのRLにまたがるアプローチを検証した。
  論文  参考訳（メタデータ） (2025-05-29T06:41:45Z)
• Multi-Task Reinforcement Learning for Quadrotors [18.71563817810032]
  本稿では,四重項制御に適した新しいマルチタスク強化学習(MTRL)フレームワークを提案する。 マルチクリティカルなアーキテクチャと共有タスクエンコーダを用いることで,タスク間の知識伝達を容易にし,単一のポリシで多様な操作を実行することができる。
  論文  参考訳（メタデータ） (2024-12-17T01:10:18Z)
• Learning Reward and Policy Jointly from Demonstration and Preference Improves Alignment [58.049113055986375]
  我々は、報酬モデルとポリシーをトレーニングするために、AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一ステージアプローチを開発する。 提案した手法は、一般的なアライメントアルゴリズムに容易に還元し、活用できる、効率的なアルゴリズムの集合を認めている。 本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-06-11T01:20:53Z)
• Combinatorial Optimization with Policy Adaptation using Latent Space Search [44.12073954093942]
  本稿では,複雑なNPハード問題を解くために,パフォーマンスアルゴリズムを設計するための新しいアプローチを提案する。 我々の検索戦略は11の標準ベンチマークタスクにおける最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-13T12:24:54Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• Hundreds Guide Millions: Adaptive Offline Reinforcement Learning with Expert Guidance [74.31779732754697]
  本稿では,GORL ( Guided Offline RL) という新しいプラグイン手法を提案する。 GORLは、いくつかの専門家によるデモンストレーションとともにガイドネットワークを使用し、各サンプルに対する政策改善と政策制約の相対的重要性を適応的に決定する。 様々な環境での実験により、GORLは統計的に有意な性能改善を伴い、ほとんどのオフラインRLアルゴリズムに容易にインストール可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-09-04T08:59:04Z)
• Generalizing LTL Instructions via Future Dependent Options [7.8578244861940725]
  本稿では,学習効率と最適性を向上した新しいマルチタスクアルゴリズムを提案する。 将来のサブゴールを満たす報酬をより効率的に伝達するために,サブゴール列に条件付きマルチステップ関数を訓練することを提案する。 3つの異なる領域の実験において、提案アルゴリズムにより訓練されたエージェントの一般化能力を評価する。
  論文  参考訳（メタデータ） (2022-12-08T21:44:18Z)
• Meta Reinforcement Learning with Successor Feature Based Context [51.35452583759734]
  本稿では,既存のメタRLアルゴリズムと競合する性能を実現するメタRL手法を提案する。 本手法は,複数のタスクに対して同時に高品質なポリシーを学習するだけでなく,短時間のトレーニングで新しいタスクに迅速に適応できる。
  論文  参考訳（メタデータ） (2022-07-29T14:52:47Z)
• Optimistic Linear Support and Successor Features as a Basis for Optimal Policy Transfer [7.970144204429356]
  我々は、SFが凸被覆集合を形成するポリシーの集合を学習するために、最適化線形サポートアルゴリズムのSFベースの拡張を導入する。 この集合におけるポリシは、一般化されたポリシー改善を通じて組み合わせて、新しい線形表現可能なタスクに対して最適な振る舞いを構築することができることを示す。
  論文  参考訳（メタデータ） (2022-06-22T19:00:08Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。