論文の概要: DaCe-DT: Data-Centric Offline Multi-Task Reinforcement Learning via Adaptive Prompts and Trajectory Correction for Heterogeneous Tasks

• arxiv url: http://arxiv.org/abs/2610.11085v1
• Date: Thu, 08 Oct 2026 01:53:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.735362
• Title: DaCe-DT: Data-Centric Offline Multi-Task Reinforcement Learning via Adaptive Prompts and Trajectory Correction for Heterogeneous Tasks
• Title（参考訳）: DaCe-DT:不均一タスクに対する適応型プロンプトと軌道補正によるデータ中心型オフラインマルチタスク強化学習
• Abstract要約: タスクの複雑度やデータ品質に敏感に設計した,堅牢なオフラインMTRLフレームワークであるDaCe-DTを提案する。 DaCe-DTは、長押しプロンプトマスキング、検索強化プロンプト構築、値適応リターンキャリブレーションを備えている。 Meta-Worldの実験結果によると、DaCe-DTは最先端の手法よりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 18.736134846417603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline multi-task reinforcement learning (Offline MTRL) heavily depends on the quality and distribution of pre-collected data. However, existing methods mainly focus on algorithmic optimization, with less emphasis on data-level improvements to enhance learning ability and generalization performance. This paper, from a data perspective, reveals three key bottlenecks that limit Offline MTRL performance:(i) ineffective utilization of prompts length under diverse task complexities, and (ii) semantic irrelevance of randomly sampled prompt segments, (iii) misleading supervision induced by fragmented and discontinuous trajectories. To address these challenges, we propose DaCe-DT, a robust offline MTRL framework designed to be insensitive to heterogeneous task complexities and data quality, featuring length-gated prompt masking (LGPM), retrieval-augmented prompt construction (RAPC), and value-adaptive return calibration (VARC). Together, these mechanisms enable DaCe-DT to deliver data-centric prompt adaptation and trajectory refinement, resulting in robust multi-task generalization and stable policy learning amid heterogeneous offline data and tasks. Experimental results on Meta-World show that DaCe-DT consistently outperforms state-of-the-art methods, achieving an average improvement of 11.73% on optimal datasets and an improvement of 13.34% on suboptimal datasets, demonstrating its effectiveness in learning stably from imperfect data and improving overall multi-task performance.
• Abstract（参考訳）: オフラインマルチタスク強化学習(Offline MTRL)は,事前収集データの品質と分布に大きく依存する。 しかし、既存の手法は主にアルゴリズム最適化に重点を置いており、学習能力と一般化性能を向上させるためのデータレベルの改善に重点を置いていない。 データの観点からは、オフラインMTRLの性能を制限する3つの重要なボトルネックを明らかにする。 一 タスクの複雑さの多様さ下でのプロンプトの長さの有効利用、及び (II)ランダムサンプリングされたプロンプトセグメントの意味的無関係 三 断片的かつ不連続な軌跡による監督の誤解を招くこと。 これらの課題に対処するために,DaCe-DTを提案する。これは不均一なタスクの複雑度やデータ品質に敏感な,堅牢なオフラインMTRLフレームワークで,長周期プロンプトマスキング(LGPM),検索拡張プロンプト構成(RAPC),値適応リターンキャリブレーション(VARC)を特徴とする。 これらのメカニズムにより、DaCe-DTはデータ中心の迅速な適応と軌道修正を実現し、不均一なオフラインデータやタスクの中で、堅牢なマルチタスクの一般化と安定したポリシー学習を実現する。 Meta-Worldの実験結果によると、DaCe-DTは最先端の手法を一貫して上回り、最適なデータセットで平均11.73%、最適なデータセットで平均13.34%向上し、不完全なデータから安定して学習し、全体的なマルチタスク性能を改善する。

関連論文リスト

• HiDiffTIR: Hierarchical Difficulty-Aware Policy Optimization for Multi-Turn Tool-Integrated Reasoning [95.29291773706224]
  Tool-Integrated Reasoningは、LLMエージェントが外部ツールと反復的に対話することで複雑なタスクを解決する機能である。 既存のアプローチは通常、一様軌跡レベルの利点を割り当て、全ての正しいツールコールを平等に扱う。 これは、自明なパターンと困難なツールの使用パターンを適切に区別しない不正確な学習信号につながる可能性がある。
  論文  参考訳（メタデータ） (2026-08-22T09:14:15Z)
• EEVEE: Towards Test-time Prompt Learning in the Real World for Self-Improving Agents [64.96332056338923]
  EEVEEは、LLMエージェントのための最初のマルチデータセットテスト時プロンプト学習フレームワークである。 実世界のタスクストリーム下でテスト時のプロンプト学習を可能にする。 EEVEEはQwen3-4B-InstructとDeepSeek-V3.2で平均マルチベンチマークスコアを10.38点、24.32点改善している。
  論文  参考訳（メタデータ） (2026-06-09T17:57:16Z)
• Efficient Reinforcement Learning by Guiding Generalist World Models with Non-Curated Data [32.7248232143849]
  オフラインデータの活用は、オンライン強化学習(RL)のサンプル効率を向上させるための有望な方法である 本稿では、報酬のない、混合品質の豊富な非キュレートデータを利用して、オフラインからオフラインへのRLのための使用可能なデータのプールを拡張し、複数の実施形態にまたがって収集する。
  論文  参考訳（メタデータ） (2025-02-26T20:34:29Z)
• Prompt Tuning Decision Transformers with Structured and Scalable Bandits [4.460057058209513]
  提案手法は,推定時刻における実演データから最適軌道プロンプトを構築することを学習するバンディットベースのプロンプトチューニング手法である。 提案手法は,幅広いタスク,高次元環境,アウト・オブ・ディストリビューションシナリオにまたがる性能を継続的に向上することを示す。
  論文  参考訳（メタデータ） (2025-02-07T14:57:17Z)
• Aligning Instruction Tuning with Pre-training [61.50161961371844]
  そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。 8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-01-16T08:27:40Z)
• Pessimistic Value Iteration for Multi-Task Data Sharing in Offline Reinforcement Learning [116.87367592920171]
  オフライン強化学習(RL)は、固定データセットからタスク固有のポリシーを学ぶ上で有望な結果を示している。 特定のタスクのデータセットが制限されているシナリオでは、他のタスクからのデータセットでオフラインのRLを改善することが自然なアプローチである。 データ選択なしでデータセット全体を共有する不確実性に基づくマルチタスクデータ共有(MTDS)手法を提案する。
  論文  参考訳（メタデータ） (2024-04-30T08:16:52Z)
• Offline Reinforcement Learning with Behavioral Supervisor Tuning [0.0]
  本稿では、不確実性モデルをトレーニングし、それを用いてポリシーをガイドし、データセットサポート内のアクションを選択するアルゴリズムTD3-BSTを提案する。 TD3-BSTは、以前の方法と比較してオフラインデータセットからより効果的なポリシーを学習でき、データセットごとのチューニングを必要とせずに、挑戦的なベンチマークで最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-04-25T08:22:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。