論文の概要: Output-Level Regularization Eliminates the Seed Lottery in Single-GPU VLA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2606.13856v1
• Date: Thu, 11 Jun 2026 19:33:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.607997
• Title: Output-Level Regularization Eliminates the Seed Lottery in Single-GPU VLA Fine-Tuning
• Title（参考訳）: 単一GPUVLAファインチューニングにおける出力レベル正規化による種子ロットの除去
• Abstract要約: 単一のGPU上でビジョンアクションモデル(VLAJEPA)を微調整するのは簡単だ。 12回のランで91が94%の確率で成功し、1回のランで65.2%に低下する。 動作予測器は、ロボットが見ているものに関係なく、ほとんど同じ出力を生成することを静かに学習します。
• 参考スコア（独自算出の注目度）: 2.6773274309393145
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Fine-tuning a vision-language-action model (VLA-JEPA) on a single GPU should be simple: load a pretrained checkpoint, run training, deploy. There is a hidden danger. Run the same fine-tuning code thirteen times -- same data, same architecture, different random seed -- and twelve runs produce a robot succeeding 91--94% of the time, while one run silently degrades to 65.2%: a 29 pp gap with no error message, no warning, and no way to predict which seed will fail. We call this the seed lottery. We trace the cause to output collapse: the action predictor quietly learns to produce nearly identical outputs regardless of what the robot sees. Existing weight-level methods (L2, EWC) are structurally blind to this collapse -- they penalize weight changes, but collapse occurs in directions weights can move freely without affecting outputs, a gap we formalize via the Jacobian null-space. Across 7 methods x up to 13 seeds x 3 LIBERO benchmarks, three output-level regularizers -- VICReg (n=12 seeds), Dropout (n=4), and a halved learning rate (n=5) -- each eliminate every catastrophic seed (0/21 combined collapses vs. 1/13 Baseline; F(12,11)=28.7, p<0.001), while weight-level methods (L2, EWC) preserve the lottery. The simplest fix is changing one number in your optimizer config.
• Abstract（参考訳）: 単一のGPU上での視覚言語アクションモデル(VLA-JEPA)の微調整は単純でなければならない。 隠れた危険があります。 同じ微調整コード(同じデータ、同じアーキテクチャ、異なるランダムシード)を13回実行し、12回実行すると、91～94%の確率でロボットを成功させる。 これを種宝くじと呼ぶ。 動作予測器は、ロボットが見ているものに関係なく、ほとんど同じ出力を生成することを静かに学習します。 既存のウェイトレベル法(L2, EWC)は、この崩壊に対して構造的に盲目であり、重量変化を罰するが、ウェイトが出力に影響を与えることなく自由に動く方向に崩壊する。 Across 7 method x to 13 seed x 3 LIBERO benchmarks, three output-level regularizers -- VICReg (n=12 seed), Dropout (n=4 seed), a halved learning rate (n=5) -- それぞれ、破滅的シード (0/21 combined collapses vs. 1/13 Baseline; F(12,11)=28.7, p<0.001) を除去し、ウェイトレベルメソッド (L2, EWC) は宝くじを保存する。 最も簡単な修正は、オプティマイザ設定で1つの番号を変更することです。

関連論文リスト

• Omega-S: A Functional Resilience Index for LLM Fine-Tuning [0.0]
  大規模な言語モデルの微調整は、以前学んだことを劣化させる。 重み行列のみから計算したドロップインペナルティであるOmega-Sを提案する。 既存のトレーニングループには3行あり、ステップのコストに対して4%未満の追加がある。
  論文  参考訳（メタデータ） (2026-08-04T16:22:30Z)
• Spaghetti Architect: A Contamination-Resistant, By-Construction-Labelled, Multi-Language Code Dataset Generator [4.010371060637209]
  Spaghetti Architectはクリーンで言語に依存しない中間表現を、意図的に冗長で完全にフラットなプログラムにマップする。 各プログラムは、参照するオラクルに対してコンパイル、実行、チェックされるので、各インスタンスは、構成によって正しい。 4モデルオープンラグのレポートベースライン: 正確な一致はスケールとともに上昇し、本質的なノブは最強モデルの算術的集約精度をゼロに崩壊させる。
  論文  参考訳（メタデータ） (2026-07-21T02:23:22Z)
• Teach it to stop, not just to click [0.0]
  修復された政策の成功率は上流の足場に支配されていることを示す。 通常のk-seedレポートのためのライブラリ(cua_reliability)をリリースする。
  論文  参考訳（メタデータ） (2026-07-19T08:46:06Z)
• SPL: Orchestrating Workflows with Declarative Deterministic-Probabilistic Composition [0.0]
  SPLは1つの仕様で決定論的計算と確率論的計算モードを構成する宣言型言語である。 A.splの仕様は、ローカルノード、クラウドAPI、分散グリッドで動作しない。 広範囲な78レシピの料理ブックと1200ランの制御実験により,SPLの有効性を検証した。
  論文  参考訳（メタデータ） (2026-07-06T03:53:10Z)
• The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation [55.62875959637507]
  本研究では,FIDを2軸パネル上のランダムな変数として扱う。 クラス条件の ImageNet 256x256 でトレーニングした数百の SiT ネットワーク上で,その分散を直接測定する。
  論文  参考訳（メタデータ） (2026-06-18T17:49:32Z)
• When the Next Step Is Not One Step: Distribution-Aware Execution Modeling for Concurrent Go Programs [0.0]
  並列プログラムの次のステップを予測するためにモデルをトレーニングするのは、スケジューラが非決定論的であるため、見た目よりも難しい。 我々は、各プログラムを何度も実行し、観測された次の事象を経験的分布に集約し、その分布をKLの目的と一致するように7Bモデルを微調整する。 実際のGoのバグから引き出された798のホールトアウト予測では、1000個未満のトレースの微調整が36.2%の精度に達する。 P(GoUnblock)がスケジューラのセマンティクスによって保持される選択ブロックゴルータのクラスに対する正規なゴルータ-リークシグネチャを学習によって導出する。
  論文  参考訳（メタデータ） (2026-06-16T04:40:04Z)
• Structure from Reasoning, Numbers from Search: On-Premise Open LLMs as Structural Priors for Coupled MIMO Controller Tuning [12.654595982289143]
  強い結合型マルチインプット・マルチアウトプット(IMO)ループのためのチューニングコントローラは困難である。 強結合型マルチインプット・マルチアウトプット(IMO)ループのチューニング制御は困難であることを示す。
  論文  参考訳（メタデータ） (2026-06-09T15:53:40Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Mining Subscenario Refactoring Opportunities in Behaviour-Driven Software Test Suites: ML Classifiers and LLM-Judge Baselines [1.9537983097153042]
  振る舞い駆動開発(BDD)ソフトウェアテストスイートは、重複したステップサブシーケンスを蓄積します。 3つのパブリッシュパターンが利用可能である(ファイルの背景、再利用可能な再利用可能なシナリオ呼び出し、組織間の共有高レベルステップ)。 繰り返し続くサブシーケンスが抽出に値するか、どのメカニズムが適用されるかを自動化する前の作業はありません。
  論文  参考訳（メタデータ） (2026-05-14T08:38:04Z)
• Revisiting Auxiliary Losses for Conditional Depth Routing: An Empirical Study [31.968379218484746]
  ゲート決定は、言語モデリング(LM)の損失に影響を与える前に、多くのレイヤを通して伝播しなければならない。 補助的な損失はトレーニングを安定させるために積み重ねられることが多いが、それらの間の相互作用、特に予測的な補助的なスコアと明示的なスコアの監督の間の相互作用は、制御された条件下で体系的に比較されていない。 これは、後続のすべてのレイヤがフルに実行されると仮定する、オフポリティのオラクルラベルにトレースしますが、ゲートされた実行ルートはフルに1分しかありません。
  論文  参考訳（メタデータ） (2026-04-19T03:20:40Z)
• Batch Speculative Decoding Done Right [6.388537448371643]
  投機的復号化は、小さなドラフトモデルを用いてLLM推論を高速化し、ターゲットモデルが並列に検証する複数のトークンを提案する。 同じバッチ内のシーケンスは、異なる数のドラフトトークンを受け取り、右アライメントを破り、位置IDを破損させ、アテンションマスク、KV-cache状態となる。 いくつかの既存のバッチ実装が出力等価性に反していることが示され、投機的復号化は標準的な自己回帰生成と同一のトークンシーケンスを生成する必要があるという基本的な要件が示される。
  論文  参考訳（メタデータ） (2025-10-26T23:59:23Z)
• Robustness of deep learning classification to adversarial input on GPUs: asynchronous parallel accumulation is a source of vulnerability [4.054484966653432]
  機械学習(ML)分類モデルの安全性と信頼性の重要な尺度は、小さな、ターゲットとする入力摂動に抵抗する能力である。 浮動小数点非連想性がGPU上での非同期並列プログラミングと結合し,誤分類を生じさせることを示す。 また, 機械レベルの詳細を考慮しない場合, 標準対向ロバスト性は4.6まで過大評価されることが示唆された。
  論文  参考訳（メタデータ） (2025-03-21T14:19:45Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• Emulated Disalignment: Safety Alignment for Large Language Models May Backfire! [65.06450319194454]
  大きな言語モデル(LLM)は、人間との安全な会話を確保するために安全アライメントを行う。 本稿では,安全アライメントの反転が可能なトレーニングフリーアタック手法を提案する。 本手法をエミュレートした脱アライメント (ED) と呼ぶのは, このコントラスト分布からのサンプリングは, 安全報酬を最小限に抑えるため, 微調整の結果を確実にエミュレートするからである。
  論文  参考訳（メタデータ） (2024-02-19T18:16:51Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。