論文の概要: Beyond Adjacent Layers: Graph-Guided Layer Fusion for Compressing Large Language Models

• arxiv url: http://arxiv.org/abs/2610.15159v1
• Date: Sat, 10 Oct 2026 20:16:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 02:19:04.902855
• Title: Beyond Adjacent Layers: Graph-Guided Layer Fusion for Compressing Large Language Models
• Title（参考訳）: 隣接層を超えて: 大規模言語モデル圧縮のためのグラフガイド型層融合
• Abstract要約: FCM (Community Mining) によるフュージョンはLxL類似性グラフを構築する。 FCMは20個のゼロショット推論細胞のうち15個でShortGPTと一致または超過する。 MMLU、LAMBADA、HumanEvalpass@1、フリーフォーム生成品質も改善されている。
• 参考スコア（独自算出の注目度）: 3.3246021992391874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing depth-compression methods for large language models (LLMs) score layers individually or group only adjacent or contiguous layers, implicitly assuming that functional redundancy is local. We test this assumption by computing full pairwise Centered Kernel Alignment (CKA) similarity matrices for thirteen LLMs from six architecture families (1.6B-14B parameters). Non-adjacent layers have 3.6-15.9x more high-similarity pairs than adjacent ones, a structure that prior similarity-based layer merging has not systematically exploited. We propose Fusion via Community Mining (FCM), which builds the full L x L similarity graph, uses spectral community detection to find clusters of functionally equivalent layers, keeps the highest-Block-Influence layer in each cluster, and applies LoRA recovery; a pre-specified rule computed only on calibration data chooses between cosine and CKA similarity. At 2x compression, FCM lowers mean perplexity below ShortGPT on twelve of thirteen models, significantly on ten (Welch's t-test with Holm-Bonferroni correction; up to 50% on Qwen3-4B), with Mistral-7B the only loss (+13.4%). Against FlattenGPT, SWM, and DeltaLLM under matched calibration and recovery, FCM gives the best perplexity on ten of thirteen models (mean rank 1.15), and it also outperforms MKA on three anchor models. FCM matches or exceeds ShortGPT on 15 of 20 zero-shot reasoning cells and also improves MMLU, LAMBADA, HumanEval pass@1, and free-form generation quality. The 2x-compressed Qwen2.5-7B has 46% fewer parameters, 42% lower peak VRAM, and 84% higher decode throughput on a single A100. Spectral grouping outperforms Fisher contiguous segmentation by 41% and uniform partitioning by 51%, and FCM's advantage grows beyond a 2x crossover up to 3x and persists at the 14B scale. Code: https://github.com/Usama1002/fcm-layer-fusion
• Abstract（参考訳）: 既存の大規模言語モデル(LLMs)の深度圧縮手法は、機能的冗長性が局所的であると暗黙的に仮定して、個々の層または隣接層または連続層のみをスコアする。 この仮定は、6つのアーキテクチャファミリ (1.6B-14B パラメータ) から13個の LLM に対して全対中心カーネルアライメント (CKA) 類似度行列を計算することによって検証する。 非隣接層は隣接する層よりも3.6-15.9倍高い相似性対を持ち、以前の類似性ベースの層融合が体系的に利用されていない構造である。 我々は,LxL類似度グラフを構築したFusion via Community Mining (FCM)を提案し,スペクトルコミュニティ検出を用いて機能的に等価なレイヤのクラスタを検出し,各クラスタに最も高いBlock-Influence層を保持し,LoRAリカバリを適用した。 2倍圧縮では、FCMは13モデル中12モデルでショートGPTよりも平均パープレクシリティを低くし、10モデル(ホルム=ボンフェロニ補正によるヴェルチのt-test、Qwen3-4Bでの50%)でミストラル-7Bが唯一の損失(+13.4%)となった。 フラッテンGPT、SWM、デルタLLMはキャリブレーションとリカバリに適合し、FCMは13モデル中10モデル(平均ランク1.15)で最高のパープレキシティを与え、3つのアンカーモデルでMKAを上回っている。 FCMは20個のゼロショット推論セルのうち15個でShortGPTと一致またはオーバーし、MMLU、LAMBADA、HumanEvalpass@1、フリーフォーム生成品質を改善している。 2x圧縮されたQwen2.5-7Bはパラメータが46%減少し、ピークVRAMが42%低下し、A100では84%高いデコードスループットを持つ。 スペクトルグルーピングはフィッシャーの連続セグメンテーションを41%、均一パーティショニングを51%上回り、FCMのアドバンテージは2倍のクロスオーバーを超え、14Bスケールで持続する。 コード:https://github.com/Usama1002/fcm-layer-fusion

関連論文リスト

• Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
  Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。 LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
  論文  参考訳（メタデータ） (2026-09-30T16:47:35Z)
• Per-Matrix Optimality Is Not Enough: Three-Level Optimization for Low-Rank LLM Compression [8.890261387138215]
  本稿では,各行列からトランスフォーマーブロックへ最適化範囲を広げる3レベルチェーンを提案する。 LLaMA-7Bの60%圧縮では、WikiText-2の難易度は42.1から19.1から11.4に減少する。 ブロックレベルのステージをスキップすると、オフラインの計算-データトレードオフが明らかになる。
  論文  参考訳（メタデータ） (2026-09-14T16:36:46Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study [48.83701310501069]
  本稿では, 一つのレシピがヘテロジニアスなアーキテクチャプールに十分であるか, 最適ペアリングが構造的に多様なモデルによって異なるかを検討する。 我々は,CEL(Cross-Entropy),NLL(Negative Log-Likelihood),および最近導入された遺伝学的に進化したNGL損失を,LEMURヘテロジニアス・アーキテクチャー・プールの6つの画像分類データセット上に提示したベースモデル間で比較検討した。 我々の結果は、単一のペアリングが普遍的に最適でないことを確認した。AdamやAdamWとのクロスエントロピーは、最も堅牢な選択である。
  論文  参考訳（メタデータ） (2026-06-18T20:51:42Z)
• RLearner-LLM: Balancing Logical Grounding and Fluency in Large Language Models via Hybrid Direct Preference Optimization [5.0009109610311855]
  ハイブリッドDPOを用いたRLearner-LLMを提案する。 RLearner-LLMはSFTよりも最大6倍NLI改善する。 Gemma 4 E4B-itでは、Hybrid-DPOは5つのドメインのうち4つのNLIを持ち上げる。
  論文  参考訳（メタデータ） (2026-05-06T06:36:09Z)
• PRISM: Differentiable Analysis-by-Synthesis for Fixel Recovery in Diffusion MRI [1.3063136334195184]
  この研究は、多部構成のフォワードモデルとエンドツーエンドの脳脊髄モデルに適合する、微分可能な分析バイシンセシスフレームワークを紹介します。 PRISMは高速MSE目標と情報無しで共同で学習するリッチ陰性対数類似度(NLL)をサポートする。 PRISMは、95%のリコールが最良基準線よりも1.9倍低い3.5度の角誤差を達成している。
  論文  参考訳（メタデータ） (2026-03-31T21:22:49Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• S*: Test Time Scaling for Code Generation [55.11863577956177]
  コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。 S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-20T09:18:53Z)
• Mixture-of-Mamba: Enhancing Multi-Modal State-Space Models with Modality-Aware Sparsity [56.0251572416922]
  状態空間モデル(SSM)は、シーケンシャルモデリングのためのトランスフォーマーの効率的な代替手段として登場した。 本稿では,Mambaブロックのモダリティ特異的パラメータ化により,モダリティを意識した疎結合を実現する新しいSSMアーキテクチャを提案する。 マルチモーダル事前学習環境におけるMixture-of-Mambaの評価を行った。
  論文  参考訳（メタデータ） (2025-01-27T18:35:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。