論文の概要: VALSE: Vertical Adaptive Layer Skipping for Efficient Inference in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.07606v1
• Date: Tue, 06 Oct 2026 01:47:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.750298
• Title: VALSE: Vertical Adaptive Layer Skipping for Efficient Inference in Large Language Models
• Title（参考訳）: VALSE:大規模言語モデルにおける効率的な推論のための垂直適応層スキーピング
• Abstract要約: 本稿では,垂直適応層スキップの理論的枠組みを確立する。 VALSE(Vertical Adaptive Layer Skipping for efficiency)を提案する。
• 参考スコア（独自算出の注目度）: 5.346502138979815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper establishes a theoretical framework for vertical adaptive layer skipping, proving three foundational results: (i) an Expected FLOPs formula (theorem 2) giving a closed-form expression for the computational cost of arbitrary per-sample skip schedules as a function of layer-wise skip probabilities; (ii) function-space superset (theorem 10) and strict inclusion (theorem 11) theorems showing that skip-layer models are strictly contained in---yet meaningfully approximate---the full-layer function space, with an explicit separating example; and (iii) a structural duality between VALSE and Mixture-of-Experts architectures (proposition 6), positioning vertical depth-wise sparsity as the orthogonal counterpart to horizontal width-wise sparsity. Building on this theory, we propose VALSE (Vertical Adaptive Layer Skipping for Efficiency), a per-sample, non-contiguous layer skipping method: a lightweight difficulty estimator scores each input from the first few layers, and per-layer gates selectively skip redundant layers---including arbitrary middle layers while retaining deeper ones---so that only the necessary depth is activated for each input, whose feasibility is preliminarily assessed at prototype scale.
• Abstract（参考訳）: 本稿では,垂直適応層スキップの理論的枠組みを確立し,3つの基礎的結果を示す。 (i)レイヤワイドスキップ確率の関数として、任意のサンプルごとのスキップスケジュールの計算コストに対するクローズドフォーム表現を与える期待FLOPs式(理論2) (ii)関数空間スーパーセット(理論) 10)および厳格な包含(理論) 11) スキップ層モデルが-------------------------------------- 明示的な分離例を持つ。 3)VALSEとMixture-of-Expertsアーキテクチャの構造的双対性(命題6)は,縦方向の幅方向の幅方向の幅方向の幅方向と直交する垂直方向の幅方向の幅方向の位置を定めている。 この理論に基づいて,本手法では, サンプルごとの非連続層スキップ手法であるVALSE(Vertical Adaptive Layer Skipping for efficiency)を提案する。軽量な難易度推定器は, 最初の数層から各入力をスコアし, 層ごとのゲートは, 深い層を保持しながら, 任意の中層を含む, 任意の層を選択的にスキップする。

関連論文リスト

• Layerwise Decoupling for Stable Structured Sparsification of Fully Connected Layers [2.4469484645516837]
  完全に接続されたニューラルネットワークを構造的にスパース化するための分離層ワイズ手法を提案する。 すべての層を同時にペナルティ化するのではなく、トレーニング済みニューラルネットワークの浅い2層構造を抽出する。 拘束的疎結合目的が内重と外重の特定の関節ペナルティと最適に等しいことを証明した。
  論文  参考訳（メタデータ） (2026-09-17T22:24:02Z)
• Two-dimensional early exit optimisation of LLM inference [0.4893345190925178]
  大規模言語モデルにおいて,2次元の早期退避戦略を導入する。 本手法は,各次元を独立に最適化することによる乗算的計算貯蓄を実現する。 その結果,2次元早期出口戦略は,入力構造全体にわたってセマンティック情報が予測可能に蓄積された場合に優れることがわかった。
  論文  参考訳（メタデータ） (2026-03-27T15:27:58Z)
• Curvature-Weighted Capacity Allocation: A Minimum Description Length Framework for Layer-Adaptive Large Language Model Optimization [8.029535985033485]
  大規模な言語モデルにおけるレイヤーのキャパシティは、一様ではなく、あるレイヤは損失削減に不均一に寄与し、他のレイヤは、ほぼ冗長である。 影響関数に基づくレイヤスコアリングのような、この非均一性を利用する既存の手法は、感度推定を生成するが、それらをアロケーションやプルーニング決定に変換するための原則化されたメカニズムは提供しない。 このギャップを,MDL(Minimum Description Length)の原理に基づく統一された曲率対応フレームワークで解決する。
  論文  参考訳（メタデータ） (2026-03-01T04:14:15Z)
• TuckA: Hierarchical Compact Tensor Experts for Efficient Fine-Tuning [83.93651411533533]
  4つのキー特性を持つTucker Adaptation(TuckA)を導入する。 我々は,ルータのパラメータサイズを$L$の係数で削減する,効率的なバッチレベルルーティング機構を開発した。 自然言語理解、画像分類、数学的推論におけるベンチマーク実験は、TuckAの有効性を物語っている。
  論文  参考訳（メタデータ） (2025-11-10T09:03:16Z)
• Hierarchical LoRA MoE for Efficient CTR Model Scaling [56.608809143548946]
  HiLoMoEは階層的なLoRA MoEフレームワークで、パラメータ効率のよい全体的なスケーリングを可能にする。 従来のスタックとは異なり、HiLoMoEルートは出力ではなく前のレイヤスコアに基づいており、すべてのレイヤが並列に実行される。
  論文  参考訳（メタデータ） (2025-10-12T03:54:11Z)
• Accelerating Inference in Large Language Models with a Unified Layer Skipping Strategy [67.45518210171024]
  動的計算手法は、いくつかの計算層をスキップすることで、Large Language Models (LLM) に対する顕著な加速を示す。 対象の高速化率のみに基づいて計算をスキップする層数を選択する統一層スキーッピング戦略を提案する。 機械翻訳とテキスト要約という2つの共通タスクの実験結果は、目標速度比が与えられた場合、統一層スキーピング戦略は推論性能と実際のモデルスループットの両方を著しく向上させることを示している。
  論文  参考訳（メタデータ） (2024-04-10T12:12:07Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• DiffComplete: Diffusion-based Generative 3D Shape Completion [114.43353365917015]
  3次元レンジスキャンにおける形状完成のための拡散に基づく新しいアプローチを提案する。 私たちはリアリズム、マルチモダリティ、高忠実さのバランスを取ります。 DiffCompleteは2つの大規模3次元形状補完ベンチマークに新しいSOTA性能を設定する。
  論文  参考訳（メタデータ） (2023-06-28T16:07:36Z)
• Fractional Skipping: Towards Finer-Grained Dynamic CNN Inference [82.96877371742532]
  本研究では,ディープネットワークのための動的フラクタル・スキッピング(DFS)フレームワークを提案する。 DFSは層ワイド量子化(ビット幅の異なるもの)を、層を完全に活用してスキップする中間的な「ソフト」な選択として仮定する。 入力適応推論中の層の表現力を利用して、よりきめ細かい精度計算コストのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2020-01-03T03:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。