論文の概要: GeLaCo: An Evolutionary Approach to Layer Compression

• arxiv url: http://arxiv.org/abs/2507.10059v1
• Date: Mon, 14 Jul 2025 08:44:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.563864
• Title: GeLaCo: An Evolutionary Approach to Layer Compression
• Title（参考訳）: GeLaCo: レイヤ圧縮の進化的アプローチ
• Authors: David Ponce, Thierry Etchegoyhen, Javier Del Ser,
• Abstract要約: 大規模言語モデル(LLM)は、多くのタスクで顕著なパフォーマンスを実現しています。 モデル圧縮法は、キャパシティを保ちながらモデルサイズを減らすことを目的としている。 本稿では,層崩壊によるLLM圧縮の進化的アプローチであるGeLaCoを紹介する。
• 参考スコア（独自算出の注目度）: 10.076106185264084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLM) have achieved remarkable performance across a large number of tasks, but face critical deployment and usage barriers due to substantial computational requirements. Model compression methods, which aim to reduce model size while preserving its capacity, are an important means to mitigate these issues. Promising approaches along these lines, such as structured pruning, typically require costly empirical search for optimal variants and may run the risk of ignoring better solutions. In this work we introduce GeLaCo, an evolutionary approach to LLM compression via layer collapse. Our approach supports an efficient exploration of the compression solution space via population-based search and a module-wise similarity fitness function capturing attention, feed-forward, and hidden state representations. GeLaCo also supports both single and multi-objective evolutionary compression search, establishing the first Pareto frontier along compression and quality axes. We evaluate GeLaCo solutions via both perplexity-based and generative evaluations over foundational and instruction-tuned models, outperforming state-of-the-art alternatives.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多数のタスクで顕著なパフォーマンスを達成したが、相当な計算要求のために、重要なデプロイメントと使用障壁に直面している。 モデル圧縮法は,モデルのサイズを小さくし,キャパシティを保ちながら,これらの問題を緩和する重要な手段である。 構造化プルーニング(英語版)のようなこれらの線に沿ったアプローチの証明には、通常、最適な変種を探すのに費用がかかるため、より良い解を無視するリスクを負う可能性がある。 本稿では,層崩壊によるLLM圧縮への進化的アプローチであるGeLaCoを紹介する。 提案手法は, 集団探索による圧縮解空間の効率的な探索と, 注目, フィードフォワード, 隠蔽状態表現を捉えたモジュールワイド類似度適合度関数の探索を支援する。 GeLaCoは単目的および多目的の進化的圧縮探索もサポートしており、圧縮と品質軸に沿った最初のParetoフロンティアを確立している。 我々は,GeLaCoの解法を,基礎モデルおよび命令調整モデルよりも複雑度ベースおよび生成的評価の両方により評価し,最先端の代替品よりも優れた性能を示した。

関連論文リスト

• SimpleGVR: A Simple Baseline for Latent-Cascaded Video Super-Resolution [55.14432034345353]
  後続の超解像モデルの設計原理について検討し,その設計原理について検討する。 まず、ベースモデルの出力特性をよりよく模倣し、VSRモデルと上流ジェネレータとの整合性を確保するための2つのトレーニングペアを生成する方法を提案する。 第2に,(1)時間ステップサンプリング戦略,(2)低分解能(LR)入力に対する雑音増強効果の系統的解析を通じて,VSRモデル行動に対する批判的洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-24T17:57:26Z)
• Semantic Retention and Extreme Compression in LLMs: Can We Have Both? [0.0]
  LLM(Large Language Model)デプロイメントでは,効率的なモデル圧縮技術の必要性が高まっている。 我々は, プルーニングと量子化を戦略的に組み合わせることで, 高い性能・圧縮比が得られることを示す。 本稿では,モデル圧縮と意味保存のトレードオフを定量化する新しい指標であるセマンティック保持圧縮率(SrCr)を紹介する。
  論文  参考訳（メタデータ） (2025-05-12T07:23:19Z)
• UniCO: Towards a Unified Model for Combinatorial Optimization Problems [30.524941693870534]
  Combinatorial Optimization (CO)は多くの現実世界のシナリオで発生する幅広い問題を含んでいる。 我々は,様々なCO問題を解決する統一モデルであるUniCOを紹介する。
  論文  参考訳（メタデータ） (2025-05-07T12:39:33Z)
• Choose Your Model Size: Any Compression by a Single Gradient Descent [9.074689052563878]
  イテレーティブ・プルーニング(ACIP)による圧縮について紹介する。 ACIPは、単一の勾配降下ランから圧縮性能トレードオフを決定するアルゴリズム的なアプローチである。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
  本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。 視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。 実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
  論文  参考訳（メタデータ） (2024-10-10T17:02:48Z)
• LaCo: Large Language Model Pruning via Layer Collapse [56.92068213969036]
  トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。 モデル量子化、知識蒸留、モデルプルーニングといった既存の手法は、様々な問題によって制約されている。 後部モデル層が前層に崩壊する「textitLayer Collapse (LaCo)」と呼ばれる簡潔な層構造プルーナーを提案する。
  論文  参考訳（メタデータ） (2024-02-17T04:16:30Z)
• Rethinking Compression: Reduced Order Modelling of Latent Features in Large Language Models [9.91972450276408]
  本稿では,Large Language Models (LLMs) のパラメトリックおよび実用的な圧縮に対して,低次モデリングに基づく革新的なアプローチを提案する。 本手法は, 行列分解を利用したモデル圧縮の顕著な進歩を示し, 最先端の構造化プルーニング法よりも優れた有効性を示した。
  論文  参考訳（メタデータ） (2023-12-12T07:56:57Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• Revisiting Offline Compression: Going Beyond Factorization-based Methods for Transformer Language Models [7.542276054279341]
  トランスフォーマー言語モデルは、多くの自然言語処理(NLP)タスクにおいて卓越した結果を達成する。 その巨大なサイズは、しばしばメモリ制限されたデバイスを非現実的にし、実践者はそれをより小さなネットワークに圧縮する必要がある。 本稿では,圧縮モデルをさらに微調整する必要のないオフライン圧縮手法について検討する。
  論文  参考訳（メタデータ） (2023-02-08T13:36:06Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。