論文の概要: Before Parc Fermé: RL-Time Pruning for Efficient Embodied LLMs in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2605.31256v1
• Date: Fri, 29 May 2026 12:53:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.614755
• Title: Before Parc Fermé: RL-Time Pruning for Efficient Embodied LLMs in Autonomous Driving
• Title（参考訳）: Parc Fermé 以前の RL-time Pruning for Embodied LLMs for Efficient Embodied LLMs in autonomous Driving (特集:バイオサイバネティックスとバイオサイバネティックス)
• Abstract要約: プルーニングはコストを削減できるが、複数のプレトレーニングと後トレーニングのフェーズを行うコントローラにとって重要な問題は、プルーニングの回数だけでなく、いつプルーニングを行うべきかである。 我々はParc Fermé (BPF) を提案する。Parc Fermé (BPF) は、閉じたループ動作に最適化されている間に、具体化された大規模言語モデルを圧縮するプルーニング戦略である。 以上の結果から,BPFはプルーニング戦略の中で,メモリとスループットのトレードオフに最適なタスクパフォーマンスを提供することがわかった。
• 参考スコア（独自算出の注目度）: 2.48245150714679
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embodied Large Language Models (LLMs) are increasingly used as reasoning modules in robotic control pipelines to improve human-robot interaction, but their memory and generation latency make real-time deployment difficult. Pruning can reduce these costs, but for controllers that undergo multiple pre- and post-training phases, the crucial question is not only how much to prune, but when pruning should occur. In this work, we propose Before Parc Fermé (BPF), a pruning strategy performed during RL that compresses embodied LLM controllers while they are still being optimized for closed-loop behavior. This allows pruning decisions to account for the task-specific supervision and closed-loop feedback that shape the final controller. We propose two variants: BPF-RL, which performs iterative pruning during RL by removing part of the model at predefined training intervals, and BPF-SFT/RL, which first prunes part of the model structure during SFT and then further compresses it during RL using the same iterative strategy as BPF-RL until the target pruning ratio is reached. We evaluate BPF on RobotxR1, an LLM-based autonomous-driving control pipeline, using an established LLM pruning framework (LLM-Pruner), and compare it against post-training pruning, post-training pruning with RL recovery, SFT-stage pruning, and smaller dense models from the same family. Our results show that BPF provides the best task-performance vs. memory and throughput trade-off among the considered pruning strategies. When compressing the larger RobotxR1 models, BPF-SFT/RL achieves a $1.69\times$ better size-end-to-end performance trade-off than directly selecting a smaller dense model from the same family, measured as removed parameters per lost percentage point of control adaptability. On the Jetson AGX Orin mounted on the target robotic platform, the compact models improve decode throughput by up to $27\%$.
• Abstract（参考訳）: Embodied Large Language Models (LLM) は、ロボット制御パイプラインにおける推論モジュールとして、人間とロボットの相互作用を改善するために使われることが多いが、そのメモリと生成遅延により、リアルタイムのデプロイメントが困難になる。 プルーニングはこれらのコストを削減できるが、プレトレーニングと後トレーニングのフェーズを複数行うコントローラにとって重要な問題は、プルーニングの回数だけでなく、いつプルーニングが行われるべきかである。 本稿では, 閉ループ動作に最適化しつつ, 既設LLMコントローラを圧縮するRL中に行われるプルーニング戦略であるParc Fermé(BPF)を提案する。 これにより、プルーニング決定は、最終コントローラを形成するタスク固有の監督とクローズドループフィードバックを考慮に入れることができる。 本稿では,事前定義されたトレーニング間隔でモデルの一部を除去し,RL中に反復的なプルーニングを行うBPF-RLと,SFT中にモデル構造の一部を取り出すBPF-SFT/RLと,目標プルーニング比に達するまでBPF-RLと同じ反復戦略を用いてRL中に圧縮するBPF-SFT/RLの2つの変種を提案する。 LLMベースの自律走行制御パイプラインであるRobotxR1上でBPFを評価し、確立されたLCMプルーニングフレームワーク(LLM-Pruner)を用いて、RL回復後のプルーニング、SFTステージプルーニング、および同族のより小さな密集モデルと比較した。 以上の結果から,BPFはプルーニング戦略の中で,メモリとスループットのトレードオフに最適なタスクパフォーマンスを提供することがわかった。 大型のRobotxR1モデルを圧縮する場合、BPF-SFT/RLは、損失パーセンテージの制御順応点当たりのパラメータとして、同じファミリーからより小さな高密度モデルを直接選択するよりも、1.69\times$スケール・エンド・エンドのパフォーマンストレードオフを達成している。 ターゲットのロボットプラットフォームに搭載されたJetson AGX Orinでは、コンパクトモデルはデコードスループットを最大で27セントまで改善する。

関連論文リスト

• HARTS: Efficient Agentic Reinforcement Learning for Hybrid-Attention Models over Arbitrary Rollout Trees [10.936836651826722]
  HARTS (Hybrid-Attention RL over Tree Structures) について述べる。 HarTSは、実際のハイブリッドアテンションモデル上で任意のロールアウトツリープレフィックス共有スピードアップを示す最初のシステムである。
  論文  参考訳（メタデータ） (2026-08-28T10:18:54Z)
• RL Excursions during Pre-Training: Re-examining Policy Optimization for LLM training [18.932290080075685]
  RLは非常に早期に有効であることが分かっており、SFT$to$RLパイプラインと早期にマッチすることが多い。 ベースチェックポイントに直接RLを適用すると、モデルの分布が拡大する。 モデル全体の能力は基本的にRLによって変わらず、SFTの後に劣化する。
  論文  参考訳（メタデータ） (2026-06-02T22:55:18Z)
• Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training? [23.212983812736343]
  Agent2 RL-BenchはエージェントRLのポストトレーニングを評価するためのベンチマークである。 固定予算下では,教師付きパイプラインがエージェント駆動のポストトレーニングを支配していることがわかった。
  論文  参考訳（メタデータ） (2026-04-12T09:35:27Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• Scalable Offline Model-Based RL with Action Chunks [60.80151356018376]
  モデルに基づく強化学習が、オフラインRLにおける複雑で長期のタスクに対処するためのスケーラブルなレシピを提供するかどうかを検討する。 我々はこのレシピを textbfModel-based RL with Action Chunks (MAC) と呼ぶ。 MAC はオフラインモデルベース RL アルゴリズムの中で,特に長期的タスクにおいて,最高の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-12-08T23:26:29Z)
• Learning to Reason as Action Abstractions with Scalable Mid-Training RL [55.24192942739207]
  効果的な中間訓練フェーズは、有用なアクションのコンパクトなセットを特定し、高速な選択を可能にする。 本稿では,スケーラブルなミッドトレーニングアルゴリズムであるReasoning as Action Abstractions (RA3)を提案する。
  論文  参考訳（メタデータ） (2025-09-30T05:34:20Z)
• Two-Stage Regularization-Based Structured Pruning for LLMs [32.65416603453818]
  TRSP: 大規模言語モデルのための2段階規則化に基づく構造化プルーニング。 TRSPは, 再学習を必要とせず, 強い階層構造を有するプルーニング法よりも優れた性能を示すことを示す。 層ワイドプルーニング法として、注目すべきエンドツーエンドアクセラレーションを提供する。
  論文  参考訳（メタデータ） (2025-05-23T12:40:59Z)
• Putting the Value Back in RL: Better Test-Time Scaling by Unifying LLM Reasoners With Verifiers [57.95157497749428]
  RL$V$は、LLMを推論器と生成検証器の両方として共同で訓練することにより、任意の値自由なRL法を増強する。 RL$V$は、並列サンプリングでMATHの精度を20%以上向上し、効率的なテスト時間計算のスケーリングを可能にする。
  論文  参考訳（メタデータ） (2025-05-07T22:41:26Z)
• Towards Efficient Automatic Self-Pruning of Large Language Models [55.90119819642064]
  トレーニング後の構造化プルーニングは、トレーニングを必要とせずに大規模言語モデルを熟成する有望なソリューションである。 この問題を緩和する鍵は、各レイヤのプルーニング率を正確に決定することにある、と我々は主張する。 我々は、レイヤワイドプルーニングレートを効率的に検索するLLMのためのエンドツーエンドの自動自動プルーニングフレームワークである$textbfSelf-Prunerを紹介した。
  論文  参考訳（メタデータ） (2025-02-20T09:59:50Z)
• A Hassle-free Algorithm for Private Learning in Practice: Don't Use Tree Aggregation, Use BLTs [4.736297244235246]
  本稿では,最近導入されたBuffered Linear Toeplitz (BLT) メカニズムをマルチ参加シナリオに拡張する。 我々のBLT-DP-FTRLは、木集約の使いやすさを維持しつつ、実用性とプライバシの観点から行列の分解にほぼ一致する。
  論文  参考訳（メタデータ） (2024-08-16T17:52:22Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• A Fast Post-Training Pruning Framework for Transformers [74.59556951906468]
  プルーニングは、大きなTransformerモデルの巨大な推論コストを削減する効果的な方法である。 モデルプルーニングの以前の作業では、モデルの再トレーニングが必要だった。 本稿では,再学習を必要としないトランスフォーマーのための高速な訓練後プルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-29T07:41:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。