論文の概要: What Layers When: Learning to Skip Compute in LLMs with Residual Gates

• arxiv url: http://arxiv.org/abs/2510.13876v1
• Date: Mon, 13 Oct 2025 16:31:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.504057
• Title: What Layers When: Learning to Skip Compute in LLMs with Residual Gates
• Title（参考訳）: 層がいつなるか: 残余のゲートを持つLCMでコンピュータをスキップする学習
• Authors: Filipe Laitenberger, Dawid Kopiczko, Cees G. M. Snoek, Yuki M. Asano,
• Abstract要約: GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。 各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
• 参考スコア（独自算出の注目度）: 66.23658560048241
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce GateSkip, a simple residual-stream gating mechanism that enables token-wise layer skipping in decoder-only LMs. Each Attention/MLP branch is equipped with a sigmoid-linear gate that condenses the branch's output before it re-enters the residual stream. During inference we rank tokens by the gate values and skip low-importance ones using a per-layer budget. While early-exit or router-based Mixture-of-Depths models are known to be unstable and need extensive retraining, our smooth, differentiable gates fine-tune stably on top of pretrained models. On long-form reasoning, we save up to 15\% compute while retaining over 90\% of baseline accuracy. On instruction-tuned models we see accuracy gains at full compute and match baseline quality near 50\% savings. The learned gates give insight into transformer information flow (e.g., BOS tokens act as anchors), and the method combines easily with quantization, pruning, and self-speculative decoding.
• Abstract（参考訳）: 本稿では,デコーダのみのLMにおけるトークンワイド層スキップを可能にする,シンプルな残留ストリームゲーティング機構であるGateSkipを紹介する。 各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。 推測中は、ゲート値でトークンをランク付けし、レイヤ単位の予算を使って、重要度の高いトークンをスキップします。 アーリーエグジットまたはルータベースのMixture-of-Depthsモデルは不安定であることが知られており、広範なリトレーニングを必要としていますが、スムーズで差別化可能なゲートは、トレーニング済みモデルの上に安定して微調整されます。 長文推論では、最大15\%の計算を保存し、90%以上のベースライン精度を保持する。 命令調整モデルでは、完全計算で精度が向上し、ベースラインの品質が50倍近く低下する。 学習ゲートはトランスフォーマー情報の流れ(例えば、BOSトークンがアンカーとして機能する)を洞察し、この手法は量子化、プルーニング、自己投機的復号化と容易に結合する。

関連論文リスト

• Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
  Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。 ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-10-14T17:51:26Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• SeerAttention: Learning Intrinsic Sparse Attention in Your LLMs [10.702409298302547]
  SeerAttentionは、大規模言語モデル自体からブロックレベルの注意空間を学習する。 Mixture of Experts (MoE)のゲーティング機構にインスパイアされたSeerAttentionは、学習可能なゲートで従来の注意を増進する。 評価の結果,SeerAttention は長文プリフィルの精度向上と低レイテンシ化を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-10-17T07:07:09Z)
• Automatic Channel Pruning for Multi-Head Attention [0.11049608786515838]
  マルチヘッドアテンション機構を考慮した自動チャネルプルーニング手法を提案する。 ImageNet-1Kでは、FLatten Transformerにプルーニング法を適用し、いくつかのMACの精度が向上した。
  論文  参考訳（メタデータ） (2024-05-31T14:47:20Z)
• Transkimmer: Transformer Learns to Layer-wise Skim [17.188613474427054]
  Transformerベースのモデルの主要な計算非効率の1つは、すべての層で同じ量の計算に費やしていることである。 本稿では,レイヤ毎に不要な隠れ状態トークンを識別するTranskimmerアーキテクチャを提案する。 スキミングされたトークンは直接最終出力に転送され、連続するレイヤの計算が削減される。
  論文  参考訳（メタデータ） (2022-05-15T16:23:30Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)
• Learned Token Pruning for Transformers [39.181816379061374]
  Learned Token Pruning ()メソッドは、データがトランスフォーマーの異なるレイヤを通過すると、冗長なトークンを減らす。 複数のGLUEタスクに対して,提案手法の性能を広範囲に検証する。 予備的な結果はTesla T4とIntel Haswellの1.4倍と1.9倍のスループット向上を示す。
  論文  参考訳（メタデータ） (2021-07-02T09:00:13Z)
• Memory-efficient Transformers via Top-$k$ Attention [23.672065688109395]
  本研究では,バニラ注意のための簡易かつ高精度な近似法を提案する。 クェリをチャンクで処理し、各クェリに対してキーに関するトップ$kのスコアを計算します。 我々のアプローチは、スクラッチからのトレーニング、微調整、ゼロショット推論を含む複数のセットアップにおいて、バニラの注意にほぼ同一の精度をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-13T02:30:23Z)
• Pruning Neural Belief Propagation Decoders [77.237958592189]
  本稿では,機械学習を用いたBPデコードに対して,過剰完全パリティチェック行列を調整する手法を提案する。 我々は,デコーダの複雑さを低減しつつ,0.27dB,1.5dBのML性能を実現する。
  論文  参考訳（メタデータ） (2020-01-21T12:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。