論文の概要: Neural Attention Search

• arxiv url: http://arxiv.org/abs/2502.13251v1
• Date: Tue, 18 Feb 2025 19:22:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:01:40.953907
• Title: Neural Attention Search
• Title（参考訳）: ニューラルアテンションサーチ
• Authors: Difan Deng, Marius Lindauer,
• Abstract要約: 本稿では,シーケンス内の各トークンの重要性を自動的に評価するフレームワークであるNeural Attention Search(NAtS)を提案する。 NAtSは推論中にトランスフォーマーベースのモデルに必要なKVキャッシュサイズを効率的に削減できる。
• 参考スコア（独自算出の注目度）: 17.391148813359088
• License:
• Abstract: We present Neural Attention Search (NAtS), a framework that automatically evaluates the importance of each token within a sequence and determines if the corresponding token can be dropped after several steps. This approach can efficiently reduce the KV cache sizes required by transformer-based models during inference and thus reduce inference costs. In this paper, we design a search space that contains three token types: (i) Global Tokens will be preserved and queried by all the following tokens. (ii) Local Tokens survive until the next global token appears. (iii) Sliding Window Tokens have an impact on the inference of a fixed size of the next following tokens. Similar to the One-Shot Neural Architecture Search approach, this token-type information can be learned jointly with the architecture weights via a learnable attention mask. Experiments on both training a new transformer from scratch and fine-tuning existing large language models show that NAtS can efficiently reduce the KV cache size required for the models while maintaining the models' performance.
• Abstract（参考訳）: 提案するNeural Attention Search(NAtS)は,シーケンス内の各トークンの重要性を自動的に評価し,いくつかのステップの後に対応するトークンをドロップできるかどうかを判断するフレームワークである。 このアプローチは、推論中にトランスフォーマーベースモデルに必要なKVキャッシュサイズを効率的に削減し、推論コストを削減できる。 本稿では,3種類のトークンを含む検索空間を設計する。 (i)グローバルトークンは、以下すべてのトークンで保存・クエリされる。 (ii)次のグローバルトークンが現れるまで、ローカルトークンは存続する。 (iii)スライディングウィンドウトークンは、次のトークンの固定サイズの推測に影響を及ぼす。 One-Shot Neural Architecture Searchアプローチと同様に、このトークンタイプの情報は、学習可能な注目マスクを通じて、アーキテクチャの重みと共同で学習することができる。 新しいトランスフォーマーをスクラッチからトレーニングし、既存の大規模言語モデルを微調整することで、NAtSはモデルのパフォーマンスを維持しながら、モデルに必要なKVキャッシュサイズを効率的に削減できることを示す。

関連論文リスト

• Attamba: Attending To Multi-Token States [6.5676809841642125]
  Attambaは、状態空間モデルを用いてトークンの塊を圧縮する新しいアーキテクチャである。 変換器のキーと値のプロジェクションをSSMに置き換えることで、モデルの品質が向上し、フレキシブルなトークンチャンキングが可能になる。 アタンバは可変長のチャンク列に注意を向けることができ、二次スケーリングと線形スケーリングのスムーズな遷移を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T18:52:06Z)
• Efficient Vision-Language Models by Summarizing Visual Tokens into Compact Registers [32.167072183575925]
  本稿では,より小さなレジスタトークン集合に要約することで,視覚トークンの数を削減できる手法を提案する。 ビクターは4%未満の精度低下を示し、トレーニング時間を43%削減し、推論スループットを3.3倍に向上させる。
  論文  参考訳（メタデータ） (2024-10-17T22:45:13Z)
• ToSA: Token Selective Attention for Efficient Vision Transformers [50.13756218204456]
  ToSAはトークン選択型アテンションアプローチで、コンバータ層をスキップできるトークンだけでなく、参加する必要のあるトークンも識別できる。 ToSAは,ImageNet分類ベンチマークの精度を維持しながら,計算コストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-06-13T05:17:21Z)
• SA$^2$VP: Spatially Aligned-and-Adapted Visual Prompt [59.280491260635266]
  視覚的プロンプトチューニングの方法は、NLPから派生した逐次モデリングパラダイムに従う。 マイモデルモデルは、画像トークンマップに等しい大きさ(またはスケールした)の2次元プロンプトトークンマップを学習する。 我々のモデルは、個々の画像トークンをきめ細かな方法でプロンプトすることができる。
  論文  参考訳（メタデータ） (2023-12-16T08:23:43Z)
• Generalized Robot 3D Vision-Language Model with Fast Rendering and Pre-Training Vision-Language Alignment [55.11291053011696]
  本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のためのフレームワークを提案する。 事前学習された視覚言語モデルから新しいカテゴリーの知識を抽出するために,階層的特徴整合型事前学習と知識蒸留戦略を提案する。 限定的な再構築の場合、提案手法はWS3D++と呼ばれ、大規模なScanNetベンチマークで1位にランクインした。
  論文  参考訳（メタデータ） (2023-12-01T15:47:04Z)
• Unlocking the Transferability of Tokens in Deep Models for Tabular Data [67.11727608815636]
  トレーニング済みのディープニューラルネットワークの微調整は、さまざまな機械学習タスクにおいて成功しているパラダイムとなっている。 本稿では,特徴トークンの品質向上を目的としたTabTokenを提案する。 トークンを規則化し、機能内および機能間のセマンティクスをキャプチャする、対照的な目的を導入します。
  論文  参考訳（メタデータ） (2023-10-23T17:53:09Z)
• M$^3$CS: Multi-Target Masked Point Modeling with Learnable Codebook and Siamese Decoders [19.68592678093725]
  マスク付き点モデリングは、点雲の自己教師型事前学習の有望なスキームとなっている。 M$3$CSは上記の能力を持つモデルを可能にするために提案されている。
  論文  参考訳（メタデータ） (2023-09-23T02:19:21Z)
• Revisiting Token Pruning for Object Detection and Instance Segmentation [25.3324628669201]
  オブジェクトとインスタンスのセグメンテーションの推論を高速化するトークンプルーニングについて検討する。 従来のトークンプルーニング法と比較して,ボックス・マスクともに1.5mAPから0.3mAPに低下した。
  論文  参考訳（メタデータ） (2023-06-12T11:55:33Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• SWAT: Spatial Structure Within and Among Tokens [53.525469741515884]
  我々は,トークン化時に空間構造が保存される場合,モデルが顕著な利得が得られることを論じる。 本研究では,(1)構造認識のトークン化と(2)構造認識のミキシングという2つの重要なコントリビューションを提案する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。