論文の概要: The Gaussian Is Enough: Flow-Matching Priors Do Not Help When Fine-Tuning Large Behavior Models

• arxiv url: http://arxiv.org/abs/2609.27070v1
• Date: Tue, 22 Sep 2026 21:05:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.774513
• Title: The Gaussian Is Enough: Flow-Matching Priors Do Not Help When Fine-Tuning Large Behavior Models
• Title（参考訳）: ガウシアン:フローマッチングの先駆者は、大きな行動モデルに微調整しても役に立たない
• Abstract要約: 微調整された模倣学習ポリシーは、前者間で類似した行動予測に収束することを示す。 学習速度のアブレーションは、エンコーダトレーニングが微調整性能の主要な要因であることを確認する。
• 参考スコア（独自算出の注目度）: 12.843421698588351
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern robot imitation learning increasingly relies on generative policies based on diffusion or flow-matching models, which generate actions by transforming samples from a prior distribution. A key question is whether the choice of prior matters. Replacing the standard Gaussian with a closer-to-target, non-Gaussian prior has been shown to substantially improve performance when training from scratch. A natural next step is to ask whether these gains transfer to fine-tuning pretrained Large Behavior Models (LBMs) such as LBM 1.0, $π_{0.5}$, and GR00T~N1.5, where one might expect even larger gains. Surprisingly, we find that this is not the case, except possibly at very low fine-tuning data fractions. Across over 100K simulation rollouts spanning all three aforementioned LBMs on 40+ tasks in two simulation platforms, and 1250 hardware rollouts on five bimanual manipulation tasks, non-Gaussian priors that are demonstrably closer to the target yield statistically indistinguishable or worse fine-tuning performance than a standard Gaussian prior. Diagnostic analyses suggest why: fine-tuned imitation learning policies converge to similar action predictions across priors, despite their fine-tuned encoder embeddings diverging substantially from the pretrained embeddings and each other. A learning-rate ablation further confirms that encoder training is the dominant factor in fine-tuning performance, substantially outweighing the effect of prior choice. We conclude with concrete directions for future research on when and why learned priors might still matter in fine-tuning. Project page: https://cxu-tri.github.io/non_gaussian_FT/
• Abstract（参考訳）: 現代のロボット模倣学習は、拡散モデルやフローマッチングモデルに基づく生成ポリシーにますます依存し、以前の分布からサンプルを変換することによって行動を生成する。 重要な疑問は、事前選択が重要であるかどうかである。 標準ガウスを目標に近いものに置き換えると、ガウス以前の非ガウスは、スクラッチからトレーニングする際のパフォーマンスを大幅に改善することが示されている。 次の自然なステップは、これらの利得がLBM 1.0、$π_{0.5}$、GR00T~N1.5のような微調整済みの大規模行動モデル(LBM)に移行するかどうかを問うことである。 意外なことに、非常に低い微調整データ率を除いては、これはそうではない。 上記の3つのLBMを2つのシミュレーションプラットフォームで40以上のタスクで100K以上のシミュレーションロールアウトし、5つのバイマニュアル操作タスクで1250のハードウェアロールアウトを行った。 微調整された模倣学習ポリシーは、事前訓練された埋め込みと互いに大きく異なるエンコーダ埋め込みにもかかわらず、前者間で類似した行動予測に収束する。 学習速度のアブレーションにより、エンコーダトレーニングが微調整性能の主要な要因であり、事前選択の効果を大幅に上回っていることが確認される。 今後の研究の具体的な方向性として、いつ、なぜ学習された事前がいまだに微調整に重要であるのかを結論付けます。 プロジェクトページ:https://cxu-tri.github.io/non_gaussian_FT/

関連論文リスト

• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• ReSplat: Learning Recurrent Gaussian Splats [98.14472247275512]
  ReSplatはフィードフォワードリカレントガウシアンスプラッティングモデルであり、明示的に勾配を計算せずに3Dガウシアンを反復的に洗練する。 我々は16倍のサブサンプル空間で動作するコンパクトな再構成モデルを導入し、以前のピクセルごとのガウスモデルよりも16倍のガウスモデルを生成する。 提案手法は,ガウス数を大幅に削減し,レンダリング速度を向上させるとともに,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-10-09T17:59:59Z)
• Preference Trajectory Modeling via Flow Matching for Sequential Recommendation [50.077447974294586]
  シーケンスレコメンデーションは、履歴的なインタラクションシーケンスに基づいて、各ユーザの次の項目を予測する。 FlowRecはシンプルだが効果的なシーケンシャルレコメンデーションフレームワークである。 我々は,ガウス雑音に代えてパーソナライズされた行動に基づく事前分布を構築し,ユーザの嗜好軌跡をモデル化するためのベクトル場を学習する。
  論文  参考訳（メタデータ） (2025-08-25T02:55:42Z)
• PACE: Marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization [35.922096876707975]
  PACE は PArameter- efficient fine-tuning with Consistency rEgularization の一般化である。 拡張一般化のための勾配を暗黙的に正規化するが、知識を保持するために微調整されたモデルや事前訓練されたモデルも暗黙的に整列する。 また、テキスト分類(GLUE)や数学的推論においてLoRAを改善している。
  論文  参考訳（メタデータ） (2024-09-25T17:56:00Z)
• Inferring Smooth Control: Monte Carlo Posterior Policy Iteration with Gaussian Processes [39.411957858548355]
  オンラインシーケンシャル推論を用いて,よりスムーズなモデル予測因子制御を実現する方法を示す。 提案手法は,いくつかのロボット制御タスクにおいて,従来の手法と一致し,スムーズさを確保しつつ評価する。
  論文  参考訳（メタデータ） (2022-10-07T12:56:31Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Gaussian Process Boosting [13.162429430481982]
  ガウス過程と混合効果モデルを組み合わせた新しい手法を提案する。 シミュレーションおよび実世界のデータセットに対する既存手法と比較して予測精度が向上する。
  論文  参考訳（メタデータ） (2020-04-06T13:19:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。