論文の概要: Two-dimensional early exit optimisation of LLM inference

• arxiv url: http://arxiv.org/abs/2604.18592v1
• Date: Fri, 27 Mar 2026 15:27:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:14.033281
• Title: Two-dimensional early exit optimisation of LLM inference
• Title（参考訳）: LLM推論の2次元早期出口最適化
• Authors: Jan Hůla, David Adamczyk, Tomáš Filip, Martin Pavlíček, Petr Sosík,
• Abstract要約: 大規模言語モデルにおいて,2次元の早期退避戦略を導入する。 本手法は,各次元を独立に最適化することによる乗算的計算貯蓄を実現する。 その結果,2次元早期出口戦略は,入力構造全体にわたってセマンティック情報が予測可能に蓄積された場合に優れることがわかった。
• 参考スコア（独自算出の注目度）: 0.4893345190925178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a two-dimensional (2D) early exit strategy that coordinates layer-wise and sentence-wise exiting for classification tasks in large language models. By processing input incrementally sentence-by-sentence while progressively activating deeper layers, our method achieves multiplicative computational savings that exceed those from optimizing either dimension independently. Experimental evaluation across four state-of-the-art LLMs (Llama 3.1, Llama 3.2, Gemma, Qwen; 3B-8B parameters) on three sentiment classification datasets demonstrates additional speed-ups of 1.4--2.3$\times$ over optimal layer-wise early exit for simpler tasks with vanilla models, with graceful degradation on complex multi-class problems. Fine-tuning reduces but does not eliminate this advantage. The approach is model-agnostic, requires only lightweight classification adapters, and is orthogonal to complementary efficiency methods such as quantization and pruning. Our findings indicate that 2D early exit strategies excel when semantic information accumulates predictably across input structure, suggesting possible applicability to sequence-processing tasks beyond sentiment classification.
• Abstract（参考訳）: 大規模言語モデルにおいて,2次元の早期退避戦略を導入する。 入力を段階的に文単位で処理し,より深い層を段階的に活性化することにより,各次元を独立に最適化することによる乗算的計算貯蓄を実現する。 Llama 3.1, Llama 3.2, Gemma, Qwen; 3B-8Bパラメータ)の3つの感情分類データセットに対する実験的な評価により、バニラモデルを用いたより単純なタスクに対して、1.4--2.3$\times$のさらなる高速化が示された。 微調整は減少するが、この利点を排除しない。 このアプローチはモデルに依存しず、軽量な分類アダプタのみを必要とし、量子化やプルーニングのような補完的な効率手法に直交する。 以上の結果から,2次元早期出口戦略は,意味情報が入力構造全体にわたって予測可能に蓄積された場合に優れる可能性が示唆された。

関連論文リスト

• UniC-Lift: Unified 3D Instance Segmentation via Contrastive Learning [6.502142457981839]
  3D Gaussian Splatting (3DGS) と Neural Radiance Fields (NeRF) は、先進的な新規なビュー合成を行っている。 近年の手法では,多視点2Dセグメンテーションを3Dに拡張し,シーン理解を向上するインスタンス/セグメンテーションを実現している。 主な課題は、ビュー間の2Dインスタンスラベルの不整合である。 本稿では,これらのステップをマージし,トレーニング時間を短縮し,ガウスプリミティブにセグメンテーションを組み込む学習可能な機能を導入することにより,パフォーマンスを向上させる統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-31T10:20:01Z)
• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• Rethinking End-to-End 2D to 3D Scene Segmentation in Gaussian Splatting [86.15347226865826]
  We design an new end-to-end object-aware lifting approach, called Unified-Lift。 コントラスト損失を用いて学習したガウスレベルの機能を各ガウス点に拡張し、インスタンス情報をエンコードする。 LERF-Masked、Replica、Messy Roomsの3つのベンチマークで実験を行った。
  論文  参考訳（メタデータ） (2025-03-18T08:42:23Z)
• Dynamic layer selection in decoder-only transformers [21.18795712840146]
  自然言語生成のための2つの一般的な動的推論手法を実証的に検討する。 トレーニング済みのデコーダのみのモデルでは,層スキップによる層除去が著しく堅牢であることがわかった。 また、シーケンス毎の動的計算割り当ては、大きな効率向上を約束することを示す。
  論文  参考訳（メタデータ） (2024-10-26T00:44:11Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Multi-body SE(3) Equivariance for Unsupervised Rigid Segmentation and Motion Estimation [49.56131393810713]
  本稿では、SE(3)同変アーキテクチャと、この課題に教師なしで取り組むためのトレーニング戦略を提案する。 本手法は,0.25Mパラメータと0.92G FLOPを用いて,モデル性能と計算効率を両立させる。
  論文  参考訳（メタデータ） (2023-06-08T22:55:32Z)
• Unsupervised Learning on 3D Point Clouds by Clustering and Contrasting [11.64827192421785]
  教師なし表現学習は、人間の介入なしに機能を自動抽出するための有望な方向である。 本稿では、ポイントワイドおよびグローバルな特徴の学習を行うために、textbfConClu という、一般的な教師なしアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-05T12:54:17Z)
• Scan-based Semantic Segmentation of LiDAR Point Clouds: An Experimental Study [2.6205925938720833]
  最先端の手法では、深いニューラルネットワークを使用して、LiDARスキャンの各点のセマンティッククラスを予測する。 LiDAR測定を処理するための強力で効率的な方法は、2次元の画像のような投影を使うことである。 メモリの制約だけでなく、パフォーマンスの向上やランタイムの改善など、さまざまなテクニックを実証する。
  論文  参考訳（メタデータ） (2020-04-06T11:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。