論文の概要: Rethinking Layer Redundancy in Large Language Models: Calibration Objectives and Search for Depth Pruning

• arxiv url: http://arxiv.org/abs/2604.24938v1
• Date: Mon, 27 Apr 2026 19:25:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.571797
• Title: Rethinking Layer Redundancy in Large Language Models: Calibration Objectives and Search for Depth Pruning
• Title（参考訳）: 大規模言語モデルにおけるレイヤー冗長性の再考:キャリブレーションの目的と深さ決定の探索
• Authors: Minkyu Kim, Vincent-Daniel Yun, Youngrae Kim, Youngjin Heo, Suin Cho, Seong-hun Kim, Woosang Lim, Gaeul Kwon,
• Abstract要約: 異なる目的が定性的に異なる冗長層を生み出すことを示し、パープレキシティと下流の精度ランキングが一貫して一致しないことを示す。 しかし、一定の目的の下では、探索アルゴリズムは類似した解を生成する傾向がある。
• 参考スコア（独自算出の注目度）: 4.422051502416615
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Depth pruning improves the inference efficiency of large language models by removing Transformer blocks. Prior work has focused on importance criteria and search algorithms, often treating layer redundancy as an inherent structural property of pretrained networks. In contrast, we adopt a \emph{functional perspective}, where redundancy is jointly influenced by the model and the evaluation objective, suggesting that a universal ranking may not be sufficient. Through an empirical study across three LLM families, two calibration objectives, and seven search algorithms, we observe that different objectives yield qualitatively different redundant layers, and that perplexity and downstream accuracy rankings do not consistently align. Under a fixed objective, however, search algorithms tend to produce similar solutions. Overall, our results suggest that the calibration objective may play a more influential role than the choice of search algorithm, indicating that further attention to objective design could be beneficial.
• Abstract（参考訳）: 深さプルーニングは、Transformerブロックを除去することで、大きな言語モデルの推論効率を向上させる。 従来の研究は、重要基準と探索アルゴリズムに重点を置いており、しばしば事前訓練されたネットワークの固有の構造特性としてレイヤー冗長性を扱う。 対照的に、モデルの冗長性はモデルと評価目標に共同的に影響され、普遍的なランク付けが十分でないことを示唆する「emph{functional perspective」を採用する。 3つのLLMファミリー,2つの校正目的,7つの探索アルゴリズムを比較検討した結果,異なる目的が定性的に異なる冗長層を生じ,パープレキシティと下流精度のランキングは一貫して一致しないことがわかった。 しかし、一定の目的の下では、探索アルゴリズムは類似した解を生成する傾向がある。 以上の結果から, キャリブレーションの目的が探索アルゴリズムの選択よりも重要な役割を担っている可能性が示唆され, 客観的設計へのさらなる関心が有益である可能性が示唆された。

関連論文リスト

• WebLeaper: Empowering Efficiency and Efficacy in WebAgent via Enabling Info-Rich Seeking [60.35109192765302]
  情報検索は、自律的な推論と意思決定を可能にする中核的な能力である。 我々は、高カバレッジなISタスクを構築し、効率的なソリューショントラジェクトリを生成するためのフレームワークであるWebLeaperを提案する。 本手法は,強いベースラインに対する有効性と効率性の向上を継続的に達成する。
  論文  参考訳（メタデータ） (2025-10-28T17:51:42Z)
• A High-Dimensional Feature Selection Algorithm Based on Multiobjective Differential Evolution [6.912442653561439]
  多目的特徴選択は、最も差別的な特徴部分集合を決定する。 提案手法は,最先端の多目的特徴選択手法よりも優れている。
  論文  参考訳（メタデータ） (2025-05-09T02:02:49Z)
• Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
  ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。 本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
  論文  参考訳（メタデータ） (2025-04-14T06:54:49Z)
• Active search and coverage using point-cloud reinforcement learning [50.741409008225766]
  本稿では,目的探索とカバレッジのためのエンドツーエンドの深層強化学習ソリューションを提案する。 RLの深い階層的特徴学習は有効であり、FPS(Fastthest Point sample)を用いることで点数を削減できることを示す。 また、ポイントクラウドに対するマルチヘッドの注意がエージェントの学習を高速化する上で有効であるが、同じ結果に収束することを示す。
  論文  参考訳（メタデータ） (2023-12-18T18:16:30Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Bi-objective Ranking and Selection Using Stochastic Kriging [0.0]
  両目的のランク付けと選択の問題について検討し,その2つの目的が不確実性をもって観測された。 そこで本研究では,競合する解に対して逐次サンプルを割り当てるバイーシアン双対象ランクと選別法を提案する。 実験結果から,提案手法は標準的なアロケーション手法よりも優れており,また,よく知られた最先端のアルゴリズムも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-09-05T23:51:07Z)
• Alleviating Search Bias in Bayesian Evolutionary Optimization with Many Heterogeneous Objectives [9.139734850798124]
  異種目的(HE-MOP)を用いた多目的最適化問題に対処する。 高速な目的に対して探索バイアスを緩和する新たな獲得関数を提案する。 提案アルゴリズムの有効性を,多目的・多目的のベンチマーク問題で検証することによって実証する。
  論文  参考訳（メタデータ） (2022-08-25T17:07:40Z)
• An Empirical Study on Learning and Improving the Search Objective for Unsupervised Paraphrasing [0.0]
  本研究では,探索対象における雑音の平滑化に関する問題について,探索力学のモデル化を学習することによって検討する。 そして、学習したモデルを元の目的関数と組み合わせて、ブートストラップ方式で探索を誘導する。 実験結果から,学習モデルと元の探索対象とが組み合わさって,スムーズな効果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-23T00:30:28Z)
• AP-Loss for Accurate One-Stage Object Detection [49.13608882885456]
  一段階の物体検出器は、分類損失と局所化損失を同時に最適化することによって訓練される。 前者は、多数のアンカーのため、非常に前景と後方のアンカーの不均衡に悩まされる。 本稿では,一段検知器の分類タスクをランキングタスクに置き換える新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2020-08-17T13:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。