論文の概要: SliMOO: Interpretable Multi-Objective Evolutionary Search for LLM Depth Pruning
- arxiv url: http://arxiv.org/abs/2610.27812v1
- Date: Tue, 20 Oct 2026 08:05:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.71282
- Title: SliMOO: Interpretable Multi-Objective Evolutionary Search for LLM Depth Pruning
- Title（参考訳）: SliMOO: LLM深度解析のための解釈可能な多目的進化探索
- Abstract要約: LLM深度解析のための解釈可能な多目的進化探索フレームワークであるSliMOOを提案する。
Llama-3.1 と Qwen3 モデルファミリ全体で、SliMOO はルールベース、グレディ、スカラー化されたベースラインよりも強力なマルチタスクトレードオフを実現している。
- 参考スコア（独自算出の注目度）: 13.519842904241983
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) grow more powerful, their scale makes them costly to serve. Depth pruning offers a practical route to efficiency by directly reducing memory and latency without hardware-specific support. However, we observe that transformer layers exhibit markedly different task-dependent layer contributions, whereas existing depth-pruning methods ignore this heterogeneity and thus tend to optimize for a narrow domain or benchmark rather than preserve broad capability. This suggests that LLM depth pruning should be formulated as a multi-objective optimization problem rather than a single-score ranking problem. We propose SliMOO, an interpretable multi-objective evolutionary search framework for LLM depth pruning. SliMOO first uses single-layer removal probing to construct a task-layer importance map, which provides an interpretable view of task-shared and task-specific layers and serves as a search prior. It then performs a Pareto-aware evolutionary search for pruning masks, where candidates are generated under the guidance of the task-layer prior, scored by their deviation from the dense model on each task, and retained through NSGA-II environmental selection. Across the Llama-3.1 and Qwen3 model families, SliMOO consistently achieves stronger multi-task trade-offs than rule-based, greedy, and scalarized baselines. For example, on Llama-3.1-70B at 25% sparsity, it improves the math-domain average from 24.33% to 34.40% and the code-domain average from 35.03% to 39.14%. Code will be made available at https://github.com/AMD-AGI/SliMOO.
- Abstract（参考訳）: 大規模言語モデル(LLM)がより強力になるにつれて、そのスケールはそれらを提供するのにコストがかかる。
ディープスプルーニングは、ハードウェア固有のサポートなしで直接メモリと遅延を減らし、効率を高めるための実用的な手段を提供する。
しかし, トランスフォーマー層は, タスク依存層への寄与が著しく異なるのに対して, 既存のDeep-pruning法はこの不均一性を無視し, 広い能力を維持するのではなく, 狭い領域やベンチマークに最適化する傾向がある。
このことは、LLM深度プルーニングがシングルスコアランキング問題ではなく、多目的最適化問題として定式化されるべきであることを示唆している。
LLM深度解析のための解釈可能な多目的進化探索フレームワークであるSliMOOを提案する。
SliMOOは最初、タスク共有層とタスク固有層を解釈可能なビューとして提供し、検索先として機能するタスク層重要度マップを構築するために、単一層除去プローブを使用する。
次に、プルーニングマスクのPareto-aware進化探索を行い、各タスク上の密集モデルから逸脱し、NSGA-II環境選択によって候補が生成される。
Llama-3.1 と Qwen3 モデルファミリ全体で、SliMOO はルールベース、グレディ、スカラー化されたベースラインよりも強力なマルチタスクトレードオフを実現している。
例えば、Llama-3.1-70Bでは25%の間隔で、数学領域の平均が24.33%から34.40%、コード領域の平均が35.03%から39.14%に改善されている。
コードはhttps://github.com/AMD-AGI/SliMOO.comで公開される。
関連論文リスト
- optimize_anything: A Universal API for Optimizing any Text Parameter [98.42497715725356]
単一タスク検索をサポートする1つのAIベースの最適化システム、クロスプロブレム転送によるマルチタスク検索、および目に見えない入力への一般化を示す。
LLMに基づく検索によるテキストの最適化は汎用的な問題解決パラダイムであることを示す。
論文 参考訳（メタデータ） (2026-05-19T10:18:12Z) - Layer-wise Representation Dynamics: An Empirical Investigation Across Embedders and Base LLMs [8.425980139753646]
本稿では,レイヤワイドな3つの測定ファミリを持つフレームワークであるLayer-wise Representation Dynamics (LRD)を提案する。
LRDを31モデルに適用すると、最終層表現だけでは明らかでないアーキテクチャとタスクレベルの違いが明らかになる。
論文 参考訳（メタデータ） (2026-05-12T20:22:45Z) - Objective Soups: Multilingual Multi-Task Modeling for Speech Processing [69.52720282028385]
マルチ言語・マルチタスク音声処理(MSP)のための単一モデルの訓練は,タスク間の目的の相反によって著しく妨げられる。
本稿では,多目的MSPの3つの定式化について検討し,これらをthabfobjective soup recipesと呼ぶ。
我々の研究は、階層型MOOが最先端のMSPモデルを構築する上で、より効率的でスケーラブルなアプローチであることを実証している。
論文 参考訳（メタデータ） (2025-08-12T07:01:09Z) - LOP: Learning Optimal Pruning for Efficient On-Demand MLLMs Scaling [52.1366057696919]
LOPは、ターゲットプルーニング制約から最適なプルーニング戦略を学ぶ、効率的なニューラルプルーニングフレームワークである。
LOPアプローチでは、自動回帰ニューラルネットワーク(NN)を使用して、ターゲットプルーニング制約に適応したレイヤワイズプルーニング戦略を直接予測する。
実験の結果,LOPは最大3桁のスピードアップを達成しつつ,様々な測定値において最先端のプルーニング手法よりも優れていた。
論文 参考訳（メタデータ） (2025-06-15T12:14:16Z) - Leave it to the Specialist: Repair Sparse LLMs with Sparse Fine-Tuning via Sparsity Evolution [37.437830302067326]
Sparsity Evolution Fine-Tuning (SEFT)は、疎大言語モデル(LLM)に特化して設計された新しい手法である。
SEFTは、微調整中に細粒化されたモデルのスパーストポロジーを動的に進化させ、プロセス全体にわたって全体空間を保存する。
各種LLM実験の結果,SEFTは既存のベースラインに比べてメモリ効率と時間効率が優れており,性能が向上することが示された。
論文 参考訳（メタデータ） (2025-05-29T22:17:43Z) - How Many Parameters Does Your Task Really Need? Task Specific Pruning with LLM-Sieve [2.33361323991006]
大きな言語モデル(LLM)は、リソース制約された設定において、狭いタスクのためにますますデプロイされる。
LLM-Sieveは,タスク性能の維持に必要な最小パラメータサブセットにLCMを適用可能なフレームワークである。
論文 参考訳（メタデータ） (2025-05-23T20:17:20Z) - LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。
モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。
深度スケールアップのための新しい学習方法である textbfLESA を提案する。
論文 参考訳（メタデータ） (2025-02-19T14:58:48Z) - Reassessing Layer Pruning in LLMs: New Insights and Methods [24.394438652261982]
単純なアプローチ、すなわち、最後の25%のレイヤをプルーニングし、その後にtextttlm_headと残りの3つのレイヤを微調整することで、非常に高いパフォーマンスが得られることを示す。
私たちはHfaceで最適なモデルウェイトをリリースし、コードはGitHubで入手できる。
論文 参考訳（メタデータ） (2024-11-23T13:31:16Z) - LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。
LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
論文 参考訳（メタデータ） (2024-10-22T16:26:05Z) - Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。
我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。
LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
論文 参考訳（メタデータ） (2024-06-15T09:31:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。