論文の概要: LOOP: Recovery-Aligned Iterative Layer Pruning via On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.25679v1
• Date: Mon, 19 Oct 2026 02:30:18 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:24:36.489162
• Title: LOOP: Recovery-Aligned Iterative Layer Pruning via On-Policy Distillation
• Title（参考訳）: LOOP: オンライン蒸留によるリカバリーアライズされた反復層プルーニング
• Abstract要約: レイヤーレベルのプルーニングは、モデルサイズを減らすため、大規模言語モデル(LLM)デプロイメントには魅力的である。 現行のメソッドは一般的にワンショットのパラダイムに従っており、まず選択したレイヤを削除してターゲットモデルのサイズに到達させる。 LOOPは階層レベルのリカバリ指向のオンラインプルーニングフレームワークで、複数ショットにわたるプルーニングとリカバリをインターリーブする。
• 参考スコア（独自算出の注目度）: 39.197700378196195
• License:
• Abstract: Layer-level pruning is attractive for large language model (LLM) deployment as it reduces the model size while preserving a dense architecture that can be efficiently executed on standard hardware. Current methods typically follow a one-shot paradigm, which first removes selected layers to reach a target model size and then performs additional training to recover model capabilities. However, pruning directly to the target size can substantially degrade reasoning capabilities, making subsequent recovery more difficult under a limited training budget. Moreover, this paradigm separates layer selection from recovery, limiting the use of recovery information to guide selection and potentially hindering the recovery of reasoning capabilities. To address these limitations, we propose LOOP, a Layer-level Recovery-Oriented On-Policy Pruning framework that interleaves pruning and recovery across multiple shots. In each shot, LOOP removes a single layer and performs short on-policy distillation, mitigating the abrupt degradation in reasoning capabilities associated with one-shot pruning. To guide layer selection in subsequent shots, LOOP reuses on-policy trajectories and optimization signals from recovery to jointly assess each remaining layer's reasoning contribution and recovery sensitivity, thereby making layer selection recovery-aware. Evaluations on several benchmarks show that LOOP consistently outperforms one-shot baselines in average accuracy across different model scales and pruning ratios.
• Abstract（参考訳）: レイヤーレベルのプルーニングは、標準ハードウェア上で効率的に実行できる高密度アーキテクチャを保ちながら、モデルサイズを減らすため、大きな言語モデル(LLM)デプロイメントにとって魅力的である。 現在のメソッドは通常、1ショットのパラダイムに従っており、まず選択したレイヤを削除してターゲットモデルのサイズに到達し、モデル機能の回復のために追加のトレーニングを実行する。 しかし、目標規模に直接プルーニングすると推論能力が著しく低下し、訓練予算が制限された場合、その後の回復が困難になる。 さらに、このパラダイムは、レイヤ選択とリカバリを分離し、リカバリ情報の使用を制限し、セレクションをガイドし、リカバリ機能を阻害する可能性がある。 これらの制限に対処するため、複数のショットをまたいだプルーニングとリカバリをインターリーブするレイヤレベルのリカバリ指向のオン・ポリティ・プルーニングフレームワークである LOOP を提案する。 各ショットにおいて、LOOPは単一層を除去し、単発プルーニングに伴う推論能力の急激な劣化を軽減し、短いオン・ポリケーション蒸留を行う。 その後のショットにおける層選択をガイドするために、LOOPは、リカバリからのオン・ポリティ・トラジェクトリと最適化信号を再使用し、残りの各層の推論寄与とリカバリ感度を共同評価することにより、層選択の回復を意識する。 いくつかのベンチマークで評価したところ、LOOPは異なるモデルスケールとプルーニング比で平均精度で一発ベースラインを一貫して上回っている。

関連論文リスト

• Breaking the Compression Barrier: Cross-Architecture Compression Boundary Learning via Reverse Regrowth [1.454787329315493]
  本稿では,境界探索問題として圧縮を再構成する境界学習逆フレームワークBRIDGEを提案する。 提案手法はまず, 崩壊領域を公開するために, 極めて希薄な状態にモデルを駆動し, 臨界構造を選択的に再生し, 性能を回復する。 実験により,本手法はCNNとTransformerアーキテクチャの両方において,崩壊の瀬戸際からモデルを復元可能であることが示された。
  論文  参考訳（メタデータ） (2026-08-17T01:59:23Z)
• On the Limits of Layer Pruning for Generative Reasoning in LLMs [0.5437050212139086]
  レイヤープルーニングは、大きな言語モデル(LLM)を圧縮でき、微調整をほとんどあるいは全く行わずに分類ベンチマークで強い性能を維持することができる。 多段階推論を必要とするタスクは,特に深度低減に敏感であることがわかった。 現実的なポストトレーニング制約の下では、教師付き微調整に基づく単純な緩和戦略を評価する。
  論文  参考訳（メタデータ） (2026-02-02T11:57:22Z)
• LLMs can Compress LLMs: Adaptive Pruning by Agents [0.0]
  ポストトレーニングプルーニングは、性能を保ちながら計算コストを削減するための有望なアプローチとして現れている。 我々はエージェント誘導プルーニングを導入し、ファンデーションモデルが適応プルーニングエージェントとして機能する。 我々はQ3モデル(4Bおよび8Bパラメータ)の約45%の間隔で評価を行い、構造化プルーニングベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2026-01-14T18:45:36Z)
• SimpleCall: A Lightweight Image Restoration Agent in Label-Free Environments with MLLM Perceptual Feedback [27.198190496709433]
  複雑な画像復元は、複数の劣化によって影響を受ける入力から高品質な画像を復元することを目的としている。 視覚言語モデルと大規模言語モデルを利用した最近の修復エージェントは、有望な修復機能を提供するが、ボトルネックに悩まされている。 本稿では,ツール呼び出しシーケンスを決定するための軽量エージェントを学習するポリシー最適化に基づく復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-21T05:12:25Z)
• Restoring Pruned Large Language Models via Lost Component Compensation [30.687574116750337]
  プルーニング(Pruning)は、大規模言語モデル(LLM)のサイズと推論コストを減らすために広く使われている技法である。 本稿では,低コスト・高効率を保ちながら性能を回復するプルーニングモデルに対する目標復元戦略を提案する。 この知見に基づいて,アクティベーション編集により重要な注意点を対照的に探索するプラグアンドプレイ方式であるRestoreLCCを導入し,アクティベーションの差異から失われた成分を抽出し,最終的に対応するプルーンドヘッドに注入して補償と回復を行う。
  論文  参考訳（メタデータ） (2025-10-22T10:08:18Z)
• Chain-of-Restoration: Multi-Task Image Restoration Models are Zero-Shot Step-by-Step Universal Image Restorers [53.298698981438]
  本稿では,UIR(Universal Image Restoration)という新たなタスク設定を提案する。 UIRは、すべての劣化組み合わせのトレーニングを必要とせず、一連の劣化基だけに限って、これらの基がゼロショットで構成できる可能性のある劣化を取り除く。 本稿では,未知の複合劣化を段階的に除去するモデルをモデルに指示する,CoR(Chain-of-Restoration)機構を提案する。
  論文  参考訳（メタデータ） (2024-10-11T10:21:42Z)
• LaCo: Large Language Model Pruning via Layer Collapse [56.92068213969036]
  トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。 モデル量子化、知識蒸留、モデルプルーニングといった既存の手法は、様々な問題によって制約されている。 後部モデル層が前層に崩壊する「textitLayer Collapse (LaCo)」と呼ばれる簡潔な層構造プルーナーを提案する。
  論文  参考訳（メタデータ） (2024-02-17T04:16:30Z)
• Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video Restoration [78.14941737723501]
  オールインワンVRのためのクロスコンセントディープ・アンフォールディング・ネットワーク(CDUN)を提案する。 2つのカスケード手順を編成することにより、CDUNは様々な劣化に対する適応的な処理を達成する。 さらに、より隣接するフレームからの情報を活用するために、ウィンドウベースのフレーム間融合戦略を導入する。
  論文  参考訳（メタデータ） (2023-09-04T14:18:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。