論文の概要: Post-Training, Finetuning, and Steering:A Field Guide for Curating Training Data

• arxiv url: http://arxiv.org/abs/2610.19143v1
• Date: Tue, 13 Oct 2026 20:10:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.78365
• Title: Post-Training, Finetuning, and Steering:A Field Guide for Curating Training Data
• Title（参考訳）: トレーニング後, ファインタニング, ステアリング:トレーニングデータ収集のためのフィールドガイド
• Abstract要約: 本稿では,様々なデータシナリオにおける適応手法の影響について検討する。 オフラインデータ体制では、批判ベースのステアリングアプローチは、障害データが利用できる場合の教師付き微調整よりも優れています。 オンライン環境では、批判に基づくステアリングは政策段階に基づく微調整法に比べてはるかに効率が良い。
• 参考スコア（独自算出の注目度）: 38.4400300519304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Vision-Language-Action models have enabled impressive cross-task transfer in zero-shot settings, \emph{adaptation} methods are often necessary to achieve consistent performance on novel tasks. However, even though a wealth of methods for adaptation have been proposed, it is unclear how to choose the best method based on available trajectories. We close this gap by studying the impact of the adaptation method under a variety of common data scenarios: on- and off-policy data, offline vs online adaptation, and whether the data contains optimal or suboptimal trajectories. Our evaluation spans simulated tasks in the LIBERO suite and real tasks on a Franka platform. In the offline data regime, critic-based steering approaches outperform supervised finetuning when failure data is available. However, offline RL techniques for training critic functions fail to outperform simpler Monte-Carlo-based approaches. Finally, in the online setting, critic-based steering is significantly more sample efficient compared to policy-gradient-based finetuning methods, but has a lower performance ceiling than full finetuning.
• Abstract（参考訳）: Vision-Language-Action モデルはゼロショット設定で印象的なクロスタスク転送を実現しているが、新しいタスクで一貫したパフォーマンスを達成するには \emph{adaptation} メソッドが必要である。 しかし,多くの適応手法が提案されているが,利用可能な軌道に基づいて最適な方法を選択するかは定かではない。 このギャップは、オン・アンド・オフ・ポリシー・データ、オフライン・オンライン・アダプティブ、最適・最適・準最適の軌跡を含むか否かなど、様々な共通データシナリオ下での適応手法の影響を調査することによって解決する。 我々の評価は、LIBEROスイートのシミュレーションタスクと、Frankaプラットフォーム上の実際のタスクにまたがる。 オフラインデータ体制では、批判ベースのステアリングアプローチは、障害データが利用できる場合の教師付き微調整よりも優れています。 しかし、批判関数をトレーニングするためのオフラインRL技術は、モンテカルロに基づくより単純なアプローチよりも優れている。 最後に、オンライン環境では、批判に基づくステアリングはポリシーのグラディエントなファインタニング法に比べてはるかに効率が良いが、完全なファインタニングよりもパフォーマンスの天井が低い。

関連論文リスト

• ROAD: Adaptive Data Mixing for Offline-to-Online Reinforcement Learning via Bi-Level Optimization [19.46945184186446]
  適応データ混合(ROAD)を最適化した強化学習を提案する。 ROADはデータ再生プロセスを自動化する動的プラグイン・アンド・プレイフレームワークである。 我々の経験的結果は、このアプローチが様々なデータセットで既存のデータ再生方法より一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2026-05-14T07:35:58Z)
• IPD: Boosting Sequential Policy with Imaginary Planning Distillation in Offline Reinforcement Learning [13.655904209137006]
  オフラインプランニングをデータ生成,教師付きトレーニング,オンライン推論にシームレスに組み込む新しいフレームワークである textbfImaginary Planning Distillation (IPD) を提案する。 まず,オフラインデータから不確実性対策と準最適値関数を備えた世界モデルを学習する。 従来の手動で調整した戻り値関数を準最適値関数に置き換えることで、IDDは推論時の意思決定安定性と性能を改善する。
  論文  参考訳（メタデータ） (2026-03-04T17:05:39Z)
• GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
  強化学習のための勾配整列データ選択法GradAlignを提案する。 GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
  論文  参考訳（メタデータ） (2026-02-25T01:54:50Z)
• Test-time Offline Reinforcement Learning on Goal-related Experience [50.94457794664909]
  基礎モデルの研究では、テストタイムトレーニングによってパフォーマンスが大幅に改善できることが示されている。 本稿では、オフラインデータセットから現在の状態への関連性に応じて遷移を選択する、新しい自己教師型データ選択基準を提案する。 目標条件付きテストタイムトレーニング(GC-TTT)アルゴリズムは、評価中にこのルーチンを後退水平方式で適用し、現在の軌道にポリシーを適用する。
  論文  参考訳（メタデータ） (2025-07-24T21:11:39Z)
• Efficient Reinforcement Learning by Guiding Generalist World Models with Non-Curated Data [32.7248232143849]
  オフラインデータの活用は、オンライン強化学習(RL)のサンプル効率を向上させるための有望な方法である 本稿では、報酬のない、混合品質の豊富な非キュレートデータを利用して、オフラインからオフラインへのRLのための使用可能なデータのプールを拡張し、複数の実施形態にまたがって収集する。
  論文  参考訳（メタデータ） (2025-02-26T20:34:29Z)
• Offline Reinforcement Learning from Datasets with Structured Non-Stationarity [50.35634234137108]
  現在の強化学習(RL)は、成功するポリシーを学ぶのに必要な大量のデータによって制限されることが多い。 本稿では,データセットを収集しながら,各エピソードの遷移と報酬関数が徐々に変化するが,各エピソード内で一定に保たれるような新しいオフラインRL問題に対処する。 本稿では、オフラインデータセットにおけるこの非定常性を識別し、ポリシーのトレーニング時にそれを説明し、評価中に予測するContrastive Predictive Codingに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:41:36Z)
• Offline Reinforcement Learning with Behavioral Supervisor Tuning [0.0]
  本稿では、不確実性モデルをトレーニングし、それを用いてポリシーをガイドし、データセットサポート内のアクションを選択するアルゴリズムTD3-BSTを提案する。 TD3-BSTは、以前の方法と比較してオフラインデータセットからより効果的なポリシーを学習でき、データセットごとのチューニングを必要とせずに、挑戦的なベンチマークで最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-04-25T08:22:47Z)
• MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot Learning [52.101643259906915]
  本研究では,高次元観測による強化学習におけるオフライン事前学習とオンラインファインチューニングの問題について検討する。 既存のモデルベースオフラインRL法は高次元領域におけるオフラインからオンラインへの微調整には適していない。 本稿では,事前データをモデルベース値拡張とポリシー正則化によって効率的に再利用できるオンラインモデルベース手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T21:04:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。