論文の概要: Uncertainty-Gated Exploration Noise Suppresses Task Collapse in Online RL Fine-Tuning of a Flow-Matching Vision-Language-Action Policy

• arxiv url: http://arxiv.org/abs/2609.28838v1
• Date: Wed, 23 Sep 2026 23:08:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.598795
• Title: Uncertainty-Gated Exploration Noise Suppresses Task Collapse in Online RL Fine-Tuning of a Flow-Matching Vision-Language-Action Policy
• Title（参考訳）: オンラインRLファインニングにおける不確実性ゲート探索ノイズによるタスク崩壊の抑制-フローマッチ型ビジョンランゲージ・アクション・ポリシーの修正
• Abstract要約: LIBERO-10において,タスク崩壊(タスク崩壊)と呼ばれる障害モードを小額の予算で検討した。 3つの探索ノイズポリシーは、固定ノイズスケール、ReinFlowスタイルの学習ノイズネットワーク、不確実性付きコントローラの3つのライブ変数が異なる。 我々は4つの定義の下でタスクごとの崩壊を測定するツールをリリースし、ノイズや楽器の触覚を再現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online reinforcement learning fine-tuning of pretrained flow-matching vision-language-action (VLA) policies promises robots that keep learning after deployment, but continued updates often destroy competence on individual tasks while the aggregate still looks healthy. We study this failure mode, which we call task collapse, under a matched small-compute budget on LIBERO-10 with a 450M-parameter SmolVLA policy trained by PPO with stochastic (SDE) sampling. Three exploration-noise policies differ in one live variable: a fixed noise scale, a ReinFlow-style learned noise network, and an uncertainty-gated controller that redistributes exploration across task streams from task-agnostic novelty and competence signals, without task labels or episode boundaries. Under the pooled definition, fixed noise collapses tasks in two of three seeds and learned noise in every seed measured to iteration 200, while the controller collapses none in any of its three seeds. Measured parameter displacement shows the controller's action expert keeps changing, while its mean applied noise is close to the fixed scale in the available logs. The matched comparison supports the controller's effect on task preservation; the separate contributions of its adaptation across states and over time are not disentangled. A lower fixed scale slows the decline but does not stop it. No arm improves on the behavior-cloning baseline in this budget. Two properties of that regime are measured beside this result, not offered as its cause: following the reference recipe, training runs in bfloat16 with no fp32 master copy, under which 96.02% of the action expert's elements stay bit-identical across three consecutive iterations, and an fp32 master copy at the reference learning rate collapses both arms in a single-seed observation. We release tools measuring per-task collapse under four definitions, rescoring noise and instrument tares.
• Abstract（参考訳）: オンライン強化学習 トレーニング済みのフローマッチング型視覚言語アクション(VLA)ポリシーの微調整は、デプロイ後の学習を継続するロボットを約束するが、継続的な更新は、アグリゲーションが健全に見える間、個々のタスクの能力を破壊することが多い。 我々は,タスク崩壊と呼ばれるこの障害モードを,確率的サンプリング(SDE)を用いてPPOによって訓練された450MパラメータのSmolVLAポリシを用いて,LIBERO-10上での小額予算で検討する。 3つの探索ノイズポリシーは、固定ノイズスケール、ReinFlowスタイルの学習ノイズネットワーク、タスクラベルやエピソード境界のないタスク非依存のノベルティと能力信号からタスクストリームを探索する不確実性制御器である。 プール化された定義では、固定ノイズは3つのシードのうち2つでタスクを崩壊させ、繰り返し200まで測定されたすべてのシードのノイズを学習する。 測定されたパラメータ変位は、コントローラのアクションエキスパートが変化し続けることを示しているが、平均的な適用ノイズは利用可能なログの固定スケールに近い。 一致した比較は、制御器がタスクの保存に与える影響を支持する。 低い固定スケールは低下を遅らせるが、それを止めることはない。 この予算では、行動閉鎖ベースラインが改善されることはない。 基準レシピに従って、fp32マスターコピーなしのbfloat16でトレーニングが行われ、アクションエキスパートの要素の96.02%が3回連続してビット識別され、参照学習レートのfp32マスターコピーが1回の観察で両腕が崩壊する。 我々は4つの定義の下でタスクごとの崩壊を測定するツールをリリースし、ノイズや楽器の触覚を再現する。

関連論文リスト

• Toward a Layer-2 Trigger for AI/ML Lifecycle Management in 6G [0.0]
  ライフサイクルパフォーマンスは、コマンドが有効になった時によって異なります。 Layer-1/Layer-2 Triggered Mobilityをモチベーションとして、Layer 3がライフサイクル構成を維持しながら、Layer 2トリガがレイテンシクリティカルなサブセットのみにのみ考慮される標準を検証した。
  論文  参考訳（メタデータ） (2026-09-13T13:48:01Z)
• The Intervention Gap in Latent World Models [0.0]
  計画時介入の忠実さは、学習された世界モデルの際立った、測定可能な特性である。 リリースされたTD-MPC2チェックポイントサイズ全体で、タスクオブザーバのオペレータエラー診断が増加するにつれて、エピソードリターンが減少する。 タスク信号無しで訓練された自己教師付き世界モデルは、共有タスク上のタスク選択モデルよりもかなり優れた演算子を保存する。
  論文  参考訳（メタデータ） (2026-08-30T19:47:51Z)
• StructRL: Structured Action-Space Exploration for Flow-Based VLAs [81.43458629514139]
  フローベースのビジョン・ランゲージ・アクションモデルは現在、連続的なロボット操作に広く使われている。 オンライン強化学習は、それらを新しいタスクに適応するための重要なテクニックとして浮上している。 動作群間で時間的にスムーズかつスケールの異なる,構造的雑音に対する効果的なロボット探索の必要性を示す。
  論文  参考訳（メタデータ） (2026-08-15T09:31:29Z)
• Suppression Sticks, Locality Is Fragile: A Closed-Loop Target-and-Control Audit of Task-Vector Negation in VLA Policies [33.432377306905735]
  タスクベクトル算術は、モデルを修正するためのクローズドフォームな方法を提供するが、クローズドループロボット制御において、その振る舞いの局所性は未だ不明である。 マルチタスク・ビジョン・ランゲージ・アクション(VLA: Multitask Vision-Language-action)ポリシーから,タスク・ベクターごとのタスク・ベクター・サブトラクションのターゲット・アンド・コントロール・監査を行う。
  論文  参考訳（メタデータ） (2026-08-05T10:59:53Z)
• A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism [11.543353599329675]
  検証可能な報酬を伴う強化学習は、より強力なエージェントを生み出すことを期待して、監督されたチェックポイントで日常的に実行される。 4Bから8Bのスケールで、小さな言語とビジョン言語モデルWebエージェントにスキルを追加するかどうかを問う。 エージェントがほとんどマスターしたタスクに対して、強力な教師付きベースラインの成功率を確実に改善する構成は存在しない。
  論文  参考訳（メタデータ） (2026-07-14T11:17:35Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
  ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。 本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T07:15:43Z)
• Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
  セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。 最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。 代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
  論文  参考訳（メタデータ） (2026-05-21T09:19:23Z)
• Chunk-Boundary Artifact in Action-Chunked Generative Policies: A Noise-Sensitive Failure Mechanism [3.744103474408833]
  アクションチャンキングは、生成的ビジュモータポリシーの中心的な設計選択となっている。 チャンク境界で発生する実行不連続は、いまだに理解されていない。 我々は,チャンク境界アーチファクトをノイズに敏感な故障機構とみなす。
  論文  参考訳（メタデータ） (2026-03-12T08:10:19Z)
• Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
  動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。 我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-12-02T14:42:54Z)
• Latent Exploration for Reinforcement Learning [87.42776741119653]
  強化学習では、エージェントは環境を探索し、相互作用することでポリシーを学ぶ。 LATent TIme-Correlated Exploration (Lattice)を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。