論文の概要: SPAR: Structural Pruning and Action Recovery for Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2610.26487v1
• Date: Mon, 19 Oct 2026 14:28:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 02:57:17.509845
• Title: SPAR: Structural Pruning and Action Recovery for Vision-Language-Action Models
• Title（参考訳）: SPAR:ビジョン・ランゲージ・アクションモデルの構造解析と動作回復
• Abstract要約: 本稿では,大規模言語モデルバックボーンの隠蔽およびフィードフォワード中間次元をプルーニング・アウェア・チューニングにより引き起こすSPARを提案する。 政策性能の回復に強化学習を適用する。 その結果, 実測的な中間次元冗長性を同定し, 後処理RLがコンパクトなポリシで操作性能を回復できることが示唆された。
• 参考スコア（独自算出の注目度）: 24.210598043748647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The limited onboard computing resources of robots make the inference demands of vision-language-action (VLA) models costly to accommodate. Reducing these demands through aggressive compression, however, can degrade manipulation performance beyond what supervised fine-tuning alone recovers. We present SPAR (Structural Pruning and Action Recovery), which simultaneously prunes the hidden and feed-forward intermediate dimensions of the large language model (LLM) backbone through pruning-aware tuning, then applies reinforcement learning (RL) to recover policy performance. Applied to $π_{0.5}$, SPAR reduces the language backbone from 2.34B to 0.09B parameters and the full model from 3.37B to 1.12B, removing approximately 96% and 67% of their parameters, respectively. At this compression level, RL raises average success across the four LIBERO suites from 84.55% to 93.45%, an 8.90-percentage-point gain. The compressed policy achieves a $1.98\times$ full-policy inference speedup over the unpruned model. These results identify substantial intermediate-dimension redundancy and show that post-pruning RL can recover manipulation performance in compact policies.
• Abstract（参考訳）: ロボットのオンボードコンピューティングリソースの制限は、視覚言語アクション(VLA)モデルの推論要求を許容するためにコストがかかる。 しかし、アグレッシブ圧縮によるこれらの要求の低減は、教師付き微調整だけで回復する以上の操作性能を低下させる可能性がある。 SPAR(Structural Pruning and Action Recovery)は,大規模言語モデル(LLM)のバックボーンの隠蔽とフィードフォワード中間次元をプルーニング・アウェア・チューニング(pruning-aware tuning)により同時に創り出し,その後に強化学習(RL)を適用して政策性能を回復する。 π_{0.5}$ に適用すると、SPAR は言語のバックボーンを 2.34B から 0.09B に減らし、フルモデルを 3.37B から 1.12B に減らし、それぞれ 96% と 67% のパラメータを除去する。 この圧縮レベルでは、RLは4つのLIBEROスイートの平均的な成功率を84.55%から93.45%に上げ、8.90パーセントの上昇を達成している。 圧縮されたポリシーは、未処理モデルよりも1.98\times$フルポリティクス推論のスピードアップを達成する。 これらの結果から, 実測的な中間次元冗長性を同定し, 後処理RLがコンパクトなポリシで操作性能を回復できることが示唆された。

関連論文リスト

• Mach-Mind-4-Flash Technical Report [0.0]
  Mach-Mind-4-Flashは3Bアクティベートパラメータを持つMixture-of-Experts (MoE)エージェントモデルである。 トレーニング後の最適化は、事前学習計算をスケーリングすることなく、100B-パラメータクラスのモデルと同等かそれ以上のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-10T12:57:08Z)
• CAX-Agent: A Lightweight Agent Harness for Reliable APDL Automation [7.355373109826612]
  本稿ではMAPDL自動化のための軽量エージェントハーネスであるCAX-Agentのアーキテクチャについて述べる。 我々は50の標準構造ベンチマークで3つのリカバリ戦略(no_recovery, rule_only, model_only)を評価した。 Model_onlyは、最大完了率(0.9267)、タスクスコア(3.59/4)、総得点(9.16/10)、ゼロ介入率(0.84)、0.7733, 3.17/4, 7.03/10, 0.00)、no_recovery(0.6933, 2.74/4, 5.60/10, 0.00)を大きな効果サイズで達成する。
  論文  参考訳（メタデータ） (2026-05-12T14:46:34Z)
• Structural Pruning of Large Vision Language Models: A Comprehensive Study on Pruning Dynamics, Recovery, and Data Efficiency [65.07757274822207]
  大規模ビジョン言語モデル(LVLM)は、目覚ましい能力を示し、その相当な計算とメモリ要件は、リソース制約されたエッジデバイスへのデプロイメントに挑戦する。 言語モデルバックボーンに構造化プルーニングを適用して既存のLVLMを圧縮し,その後に軽量回復訓練を行った。
  論文  参考訳（メタデータ） (2026-04-27T12:10:44Z)
• Gradually Compacting Large Language Models for Reasoning Like a Boiling Frog [72.4168434368873]
  大きな言語モデル(LLM)は印象的な推論能力を示しているが、その相当なサイズは、しばしばかなりの計算資源を必要とする。 圧縮過程を細かな繰り返しに分割する段階的圧縮法を提案する。 この「沸騰するカエル」効果の反復的なアプローチは、急激な性能損失を伴わずに、モデルを段階的に圧縮することができる。
  論文  参考訳（メタデータ） (2026-02-04T06:56:52Z)
• Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
  本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。 ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-07-09T14:29:45Z)
• Compression Laws for Large Language Models [20.62274005080048]
  言語モデル(LLM)の圧縮法則を導入する。 我々は、1000ドル以上の実験により、構造化モデル圧縮がLLMに与える影響を実証的に検討した。 以上の結果から, クロスエントロピー損失は圧縮比に比例して2次的に増加することが示唆された。
  論文  参考訳（メタデータ） (2025-04-06T03:39:34Z)
• IteRABRe: Iterative Recovery-Aided Block Reduction [36.37457533156018]
  IteRABReは、計算資源を最小限に抑えつつ、優れた圧縮結果を達成する、単純で効果的な反復的プルーニング手法である。 IteRABReは言語能力の保存において特に強みを示し、言語関連タスクのベースラインよりも5%改善している。
  論文  参考訳（メタデータ） (2025-03-08T17:46:01Z)
• FlexiGPT: Pruning and Extending Large Language Models with Low-Rank Weight Sharing [59.12511498024836]
  本稿では,重み付けスコアに基づいてモデルブロックを選択的にプルーする大規模言語モデル(LLM)をプルーする手法を提案する。 重み共有機構を用いて各刈り込みブロックを置換する原理的計量を提案する。 経験的評価は、既存の方法よりも大幅にパフォーマンスが向上したことを示している。
  論文  参考訳（メタデータ） (2025-01-24T18:46:37Z)
• PERP: Rethinking the Prune-Retrain Paradigm in the Era of LLMs [22.557682089926004]
  パラメータの小さなサブセットを更新すれば、刈り込み後の回復や性能向上に十分であることを示す。 標準のLoRAとは異なり、スパシティを損なうことなくアダプタを再びマージできる2つの新しいLoRA変種を導入する。
  論文  参考訳（メタデータ） (2023-12-23T11:45:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。