論文の概要: Recovering Aggressively Pruned Vision-Language-Action Models with Offline Hidden-State Distillation

• arxiv url: http://arxiv.org/abs/2609.19579v1
• Date: Thu, 17 Sep 2026 02:08:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.065829
• Title: Recovering Aggressively Pruned Vision-Language-Action Models with Offline Hidden-State Distillation
• Title（参考訳）: オフライン隠れ状態蒸留による過度に切断された視覚-言語-反応モデルの復元
• Abstract要約: VLA(Vision-Reduced-action)モデルでは、ロボットが言語命令に従うことができる。 63%をOpenVLA-OFTから取り除いたことで、LIBERO-Longの成功率は93.2%から0.8%に低下した。 最近のアプローチでは、教師付き微調整と強化学習を併用したモデルが復元されている。
• 参考スコア（独自算出の注目度）: 8.485364269969045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language-action (VLA) models let robots follow language instructions, but their language backbones of several billion parameters are the main obstacle to running them on robot hardware. Structured pruning reduces that backbone, and removing 63% of it from OpenVLA-OFT drops LIBERO-Long success from 93.2% to 0.8%. A recent approach restores such a model with supervised fine-tuning followed by reinforcement learning, which needs online rollouts and hundreds of GPU-hours. We recover most of the lost success entirely offline. Width pruning narrows the blocks but keeps the residual stream at its original size, so teacher and student hidden states have the same shape and are matched directly, without a projector. Training against a cache built in one teacher pass lifts the 63%-reduced student to within 3.5 points of the teacher in about 8 GPU-hours. A sweep over nine ratios locates where the recovery objective starts to matter. Up to 45% reduction the two do not differ significantly on OpenVLA-OFT. Hidden-state distillation then adds +2.1 to +4.5 points there between 63% and 87%, and +9.4 to +22.1 points on CogACT from 63% onward. At 81% on CogACT, a tripled recovery budget narrows the distilled student's gap to the teacher to 3.9 points on average, while supervised recovery stays more than 20 points below. At matched compression, width pruning yields higher success and depth pruning lower latency. On a 6-DoF manipulator, the distilled student at 72% reduction reaches 77.5% success against 59.5% for supervised recovery, runs 2.23x faster on-board than the teacher, and uses 62% less memory.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルでは、ロボットは言語指示に従うことができるが、数十億のパラメータからなる言語バックボーンは、ロボットハードウェア上でそれらを実行する上での主要な障害である。 構造化プルーニングにより背骨が減少し、OpenVLA-OFTから63%が取り除かれ、LIBERO-Longの成功率は93.2%から0.8%に低下した。 最近のアプローチでは、教師付き微調整と、オンラインロールアウトと数百のGPU時間を必要とする強化学習によって、このようなモデルを復元している。 失った成功のほとんどを完全にオフラインで回収します。 Width pruningはブロックを狭めるが、元のサイズで残差ストリームを保持するため、教師と学生の隠れ状態は同じ形状で、プロジェクターなしで直接マッチする。 1人の教師のパスで構築されたキャッシュに対するトレーニングは、約8GPU時間で63%の還元された学生を教師の3.5ポイント以内に持ち上げる。 9つの比率を超えるスイープは、リカバリの目的が重要になる場所を特定する。 最大45%の削減はOpenVLA-OFTでは大きな違いはない。 隠れ状態の蒸留では、63%から87%の間で +2.1 から +4.5 まで、CogACT の +9.4 から +22.1 までを 63% から 63% まで加える。 CogACTでは81%と3倍のリカバリ予算により、蒸留した生徒の教師とのギャップは平均3.9ポイントに縮小され、教師付きリカバリは20ポイント以上維持されている。 整合圧縮では、幅の刈り込みが成功し、深さの刈り込みによりレイテンシが低下する。 6-DoFマニピュレータでは、72%の還元率の蒸留学生が77.5%、59.5%の回復率で77.5%を達成し、教師より2.23倍速く、メモリ消費量は62%少ない。

関連論文リスト

• Learning Foresight without Explicit Trajectories for 3D Diffusion Policies [54.692734738738885]
  3次元拡散ポリシは、現在の観測から幾何学的に基底化されたアクションを生成するのに強い。 我々は,この予測を明示的な計画を導入することなく,シンプルかつ効果的な手段である運動傾向ガイダンスを導入する。 正確にどこに移動すべきかを告げることなく、相互作用がどこに向かっているかを知ることで、大きなメリットを享受できることを、私たちは示しています。
  論文  参考訳（メタデータ） (2026-09-17T16:44:13Z)
• X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation [34.99298958122614]
  X-AuTは、短い振る舞いプローブを通して層の組み合わせを選択するプログレッシブフレームワークである。 表現アライメント、クロススケール蒸留、スケジュールされた学生政治監督、LoRAファインタニングを通じて、プルーニングモデルを復元する。 18から16のオーディオエンコーダ層からQwen3-ASR-0.6Bを圧縮した10の公開英語ベンチマークでは、マクロ平均誤差が5.61%から5.27%に減少する。
  論文  参考訳（メタデータ） (2026-09-10T11:43:17Z)
• CoTinyVLA: Chain-of-Thought Distillation for a Sub-Billion-Parameter Vision-Language-Action Model [7.106499413931612]
  CoTinyVLAはQwen3.5-0.8Bのバックボーン上のアクションモデルであり、モデルを大きくすることなく、監督を構造化することで堅牢性を得る。 LIBERO-Plusでは、7つの摂動次元で10,030の摂動タスクをこなし、CoTinyVLAは空間で90.8%、オブジェクトで87.3%、ゴールで86.6%、ロングで80.7%に達した。
  論文  参考訳（メタデータ） (2026-07-28T09:24:17Z)
• Eddy-VL 1.9B: Structural Pruning and Layered Distillation for Edge-Deployable Multimodal Embedding [1.2132884030603328]
  我々は,Qwen3-VL-Embedding-2B上に構築された圧縮マルチモーダル埋め込みモデルであるEddy-VL 1.9Bを紹介した。 Eddy-VLは、クラウドAPIが利用できない、低レイテンシが不可欠である、空輸の法医学的および調査的な設定をターゲットにしている。 リリースされたモデルは1,926,188,032 のパラメータ (3.85 GB bf16) を含み、2.13B の教師モデルよりも約9.5%少ないパラメータを表現している。
  論文  参考訳（メタデータ） (2026-07-15T04:36:19Z)
• Bridging Diffusion Pruning and Step Distillation with Teacher-Aligned Repair [3.683306782278835]
  拡散モデルは高品質な画像を生成するが、その推論コストは2つの情報源から来ている。 本稿では, 再運転後の再訓練を段階蒸留に置き換えるかどうかを問う。
  論文  参考訳（メタデータ） (2026-07-07T14:30:24Z)
• Benchmarking Federated Learning and Knowledge Distillation for Point Cloud Classification [5.584060970507507]
  本稿では,3次元点雲分類のための連成学習(FL)と知識蒸留(KD)を併用して評価する。 13のFLアルゴリズムと10のKD目標(130対のクロスプロダクト)を504のトレーニング実行に当てはめ、ModelNet40と臨床クラニオシノスタシスデータセットで評価されている。
  論文  参考訳（メタデータ） (2026-06-30T20:12:27Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection [133.45193150403537]
  LLM(Large Language Models)のトレーニングは、重み付けやGPU状態の増大によって、メモリ上の重大な問題が発生する。 本研究では,メモリ効率のトレーニング戦略としてグラディエント・ローランド・プロジェクション(GaLore)を提案する。 私たちの8ビットのGaLoreは、BF16ベースラインと比較して、メモリを82.5%、トレーニング総メモリを63.3%削減します。
  論文  参考訳（メタデータ） (2024-03-06T07:29:57Z)
• TinyCLIP: CLIP Distillation via Affinity Mimicking and Weight Inheritance [97.01406871579525]
  大規模言語画像事前学習モデルのための新しいクロスモーダル蒸留法TinyCLIPを提案する。 また、TinyCLIPは、トレーニング済みのCLIP ViT-B/32のサイズを50%削減し、ゼロショット性能を同等に維持できることを示した。 YFCC-15MでトレーニングしたTinyCLIP ViT-8M/16は、ImageNetで41.1%という印象的なゼロショットトップ1の精度を達成した。
  論文  参考訳（メタデータ） (2023-09-21T17:59:53Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)
• Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation [67.75526580926149]
  知識蒸留は、はるかに大きなものから写像関数を学習することにより、コンパクトで効果的なモデルを得ることを目的としている。 本研究では,教師と学生の信頼のギャップを調査し,容量ギャップ問題について検討する。 知識蒸留には信頼度は必要とせず,学生が自信を習得せざるを得ない場合には,学生のパフォーマンスを損なう可能性がある。
  論文  参考訳（メタデータ） (2020-10-15T03:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。