論文の概要: Dynamic layer selection in decoder-only transformers

• arxiv url: http://arxiv.org/abs/2410.20022v1
• Date: Sat, 26 Oct 2024 00:44:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:37.273699
• Title: Dynamic layer selection in decoder-only transformers
• Title（参考訳）: デコーダのみの変圧器における動的層選択
• Authors: Theodore Glavas, Joud Chataoui, Florence Regol, Wassim Jabbour, Antonios Valkanas, Boris N. Oreshkin, Mark Coates,
• Abstract要約: 自然言語生成のための2つの一般的な動的推論手法を実証的に検討する。 トレーニング済みのデコーダのみのモデルでは,層スキップによる層除去が著しく堅牢であることがわかった。 また、シーケンス毎の動的計算割り当ては、大きな効率向上を約束することを示す。
• 参考スコア（独自算出の注目度）: 21.18795712840146
• License:
• Abstract: The vast size of Large Language Models (LLMs) has prompted a search to optimize inference. One effective approach is dynamic inference, which adapts the architecture to the sample-at-hand to reduce the overall computational cost. We empirically examine two common dynamic inference methods for natural language generation (NLG): layer skipping and early exiting. We find that a pre-trained decoder-only model is significantly more robust to layer removal via layer skipping, as opposed to early exit. We demonstrate the difficulty of using hidden state information to adapt computation on a per-token basis for layer skipping. Finally, we show that dynamic computation allocation on a per-sequence basis holds promise for significant efficiency gains by constructing an oracle controller. Remarkably, we find that there exists an allocation which achieves equal performance to the full model using only 23.3% of its layers on average.
• Abstract（参考訳）: LLM(Large Language Models)の膨大なサイズは、推論を最適化する探索を促している。 1つの効果的なアプローチは動的推論であり、全体の計算コストを削減するために、アーキテクチャをサンプル・アット・ハンドに適応させる。 自然言語生成(NLG)のための2つの一般的な動的推論手法を実証的に検討した。 事前学習したデコーダのみのモデルでは,早期出口よりも層通過による層除去の方がはるかに堅牢であることがわかった。 層スキップにおいて,隠れ状態情報を用いて各トーケンベースでの計算を適応させることの難しさを実証する。 最後に、列ごとの動的計算割り当ては、オラクルコントローラを構築することで、大きな効率向上を約束することを示す。 注目すべきは、平均的な23.3%のレイヤでフルモデルと同等のパフォーマンスを達成するアロケーションが存在することだ。

関連論文リスト

• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• Accelerating Inference in Large Language Models with a Unified Layer Skipping Strategy [67.45518210171024]
  動的計算手法は、いくつかの計算層をスキップすることで、Large Language Models (LLM) に対する顕著な加速を示す。 対象の高速化率のみに基づいて計算をスキップする層数を選択する統一層スキーッピング戦略を提案する。 機械翻訳とテキスト要約という2つの共通タスクの実験結果は、目標速度比が与えられた場合、統一層スキーピング戦略は推論性能と実際のモデルスループットの両方を著しく向上させることを示している。
  論文  参考訳（メタデータ） (2024-04-10T12:12:07Z)
• Sorted LLaMA: Unlocking the Potential of Intermediate Layers of Large Language Models for Dynamic Inference [32.62084449979531]
  SortedNet を Sorted Fine-Tuning (SoFT) に置き換えることで生成 NLP タスクに拡張する。 我々のアプローチはモデル効率を向上し、推論中に様々なシナリオに対する複数のモデルの必要性を排除します。 以上の結果から,SFT+ICT(Early-Exit)と標準ファインチューニング(SFT+ICT)と比較して,サブモデルの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-16T11:58:34Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• You Need Multiple Exiting: Dynamic Early Exiting for Accelerating Unified Vision Language Model [37.24203191658052]
  大規模なTransformerモデルは、統一アーキテクチャで様々な下流視覚言語タスクに大幅な改善をもたらす。 性能改善は、モデルサイズが増大し、推論速度が遅くなり、厳格化のコストが増大する。 本稿では,エンコーダとデコーダのレイヤを動的にスキップできる統一視覚言語モデルのための新しい早期終了戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-21T02:32:25Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Binary Early-Exit Network for Adaptive Inference on Low-Resource Devices [3.591566487849146]
  バイナリニューラルネットワーク(BNN)は、実数値モデルと比較して、極端な圧縮とスピードアップによる問題に対処する。 そこで本研究では,BNNを早期導入戦略で統合して推論を高速化する,シンプルだが効果的な手法を提案する。 このアプローチでは、決定しきい値に基づいて単純なインスタンスを早期に終了させ、異なる中間層に追加される出力層を利用してバイナリモデル全体の実行を回避する。
  論文  参考訳（メタデータ） (2022-06-17T22:11:11Z)
• Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
  動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。 我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。 提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
  論文  参考訳（メタデータ） (2021-07-18T09:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。