論文の概要: Prompt-based Depth Pruning of Large Language Models

• arxiv url: http://arxiv.org/abs/2502.04348v1
• Date: Tue, 04 Feb 2025 15:16:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:58:36.481309
• Title: Prompt-based Depth Pruning of Large Language Models
• Title（参考訳）: プロンプトに基づく大規模言語モデルの深さプルーニング
• Authors: Juyun Wee, Minjae Park, Jaeho Lee,
• Abstract要約: 我々はPuDDing(Prompt-routed Dynamic Depth Pruning)と呼ばれる動的深度解析アルゴリズムを開発し、入力プロンプトに基づいてモデルからどのブロックを省略するかを決定する。 コモンセンス推論ベンチマークの実証的な結果から、PuDDingは推論言語モデルを効果的に加速し、静的深さプルーニングベースラインよりもタスク上での性能が向上することが示された。
• 参考スコア（独自算出の注目度）: 11.545757790169409
• License:
• Abstract: Depth pruning aims to reduce the inference cost of a large language model without any hardware-specific complications, by simply removing several less important transformer blocks. However, our empirical findings suggest that the importance of a transformer block may be highly task-dependent -- a block that is crucial for a task can be removed without degrading the accuracy on another task. Based on this observation, we develop a dynamic depth pruning algorithm, coined PuDDing (Prompt-routed Dynamic Depth Pruning), which determines which blocks to omit from the model based on the input prompt. PuDDing operates by training a lightweight router to predict the best omission set among a set of options, where this option set has also been constructed in a data-driven manner. Empirical results on commonsense reasoning benchmarks demonstrate that PuDDing effectively accelerates the inference language models, and achieves better on-task performance than static depth pruning baselines.
• Abstract（参考訳）: Depth pruningは、ハードウェア固有の複雑さを伴わない大規模言語モデルの推論コストを削減することを目的としている。 しかし,我々の経験から,トランスフォーマーブロックの重要性はタスク依存に大きく依存している可能性が示唆されている。 そこで我々は,PuDDing(Prompt-routed Dynamic Depth Pruning)と呼ばれる動的深度解析アルゴリズムを開発し,入力プロンプトに基づいてモデルからどのブロックを省略するかを決定する。 PuDDingは軽量ルータをトレーニングして、オプションセットの中で最高の省略セットを予測し、このオプションセットもデータ駆動で構築されている。 コモンセンス推論ベンチマークの実証的な結果から、PuDDingは推論言語モデルを効果的に加速し、静的深さプルーニングベースラインよりもタスク上での性能が向上することが示された。

関連論文リスト

• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• Lightweight and Flexible Deep Equilibrium Learning for CSI Feedback in FDD Massive MIMO [13.856867175477042]
  広帯域多重出力(MIMO)システムでは、ダウンリンクチャネル状態情報(CSI)をベースステーション(BS)に送信する必要がある。 本稿では,深層平衡モデルを用いた軽量で柔軟な深層学習に基づくCSIフィードバック手法を提案する。
  論文  参考訳（メタデータ） (2022-11-28T05:53:09Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• Local Competition and Stochasticity for Adversarial Robustness in Deep Learning [8.023314613846418]
  本研究は, 深層学習における対角的堅牢性に対処し, 深層ネットワークと局部的勝者のアクティベーションを考慮した。 このタイプのネットワークユニットは、各モデル層からスパース表現を生じさせ、ユニットは1つのユニットだけがゼロでない出力を生成するブロックに編成される。
  論文  参考訳（メタデータ） (2021-01-04T17:40:52Z)
• Monocular 3D Object Detection with Sequential Feature Association and Depth Hint Augmentation [12.55603878441083]
  FADNetは、モノクル3Dオブジェクト検出の課題に対処するために提示される。 専用のディープヒントモジュールは、ディープヒントと呼ばれる行ワイズ機能を生成するように設計されている。 この研究の貢献は、KITTIベンチマークの実験およびアブレーション研究によって検証される。
  論文  参考訳（メタデータ） (2020-11-30T07:19:14Z)
• Faster Depth-Adaptive Transformers [71.20237659479703]
  深さ適応型ニューラルネットワークは入力単語の硬さに応じて動的に深さを調整することができる。 従来の作業は一般的に、計算が各レイヤで続行するか停止するかを決定するために停止ユニットを構築する。 本稿では,停止ユニットを除去し,必要な深さを事前に推定し,より高速な深度適応モデルを生成する。
  論文  参考訳（メタデータ） (2020-04-27T15:08:10Z)
• Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
  深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。 本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。 複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
  論文  参考訳（メタデータ） (2020-03-31T22:38:09Z)
• Depthwise Non-local Module for Fast Salient Object Detection Using a Single Thread [136.2224792151324]
  本稿では,高速な物体検出のための新しいディープラーニングアルゴリズムを提案する。 提案アルゴリズムは,1つのCPUスレッドと同時に,競合精度と高い推論効率を実現する。
  論文  参考訳（メタデータ） (2020-01-22T15:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。