論文の概要: Learned Queries and Keys Are All You Need: Replacing the Value Projection with Structured Transforms

• arxiv url: http://arxiv.org/abs/2609.36698v1
• Date: Tue, 29 Sep 2026 04:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.188327
• Title: Learned Queries and Keys Are All You Need: Replacing the Value Projection with Structured Transforms
• Title（参考訳）: 学習したクエリとキーがすべて必要なもの:構造化された変換で価値投影を置き換える
• Abstract要約: 3つのヘッドの代わりにデュアルヘッドトランスを導入し、パラメータ数とキャッシュメモリの要求を減らした。 ImageNetでトリプル方向変換器よりも優れた結果を得た。
• 参考スコア（独自算出の注目度）: 0.688204255655161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To reduce the number of parameters and cache memory requirements of transformers we introduce dual-headed transformers instead of three heads. We studied Walsh-Hadamard Transform (WHT), Discrete Cosine Transform (DCT), Discrete Fourier Transform, filterbank based Shearlet Transform, and Multiplication-Avoiding (MA) operators to construct dual heads. We combine spatial patches and their orthogonal transforms (or Shearlet and MA operators) in a structure similar to the attention block. We obtained better results than triple headed transformers in ImageNet. Extensive simulation examples are presented.
• Abstract（参考訳）: トランスのパラメータ数とキャッシュメモリ要件を削減するため、3つのヘッドの代わりにデュアルヘッドトランスを導入する。 We studied Walsh-Hadamard Transform (WHT), Discrete Cosine Transform (DCT), Discrete Fourier Transform, filterbank based Shearlet Transform, Multiplication-Avoiding (MA) operator to construct dual head。 空間パッチとそれらの直交変換(シャーレットおよびMA演算子)をアテンションブロックに類似した構造に結合する。 ImageNetでトリプル方向変換器よりも優れた結果を得た。 大規模なシミュレーションの例を示す。

関連論文リスト

• Déjà View: Looping Transformers for Multi-View 3D Reconstruction [109.98721386523641]
  最近のフィードフォワード3次元再構成変換器は10億以上のパラメータに拡張されている。 モデルの深さは、部分的にイテレーションを購入し、ユニークなパラメータで非効率に支払い、代わりにアーキテクチャでそのイテレーションを明示することを示しています。 我々のモデルであるDéjViewは、1つのループ変換ブロックをK精細ステップのビュー毎の機能に繰り返し適用する。
  論文  参考訳（メタデータ） (2026-05-28T16:47:48Z)
• Steerable Transformers for Volumetric Data [5.257591631753942]
  本稿では, ステアブル・コンボリューションによって抽出された特徴に作用する同変アテンション機構を提案する。 2次元と3次元の両方の実験により、ステアブルな畳み込みネットワークにステアブルなトランスフォーマー層を追加することにより、性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-05-24T20:43:19Z)
• Key-Value Transformer [47.64219291655723]
  キー値定式化(KV)は2次元位置符号化をアテンション行列に組み込んだ非対称版とともに対称アテンションマップを生成する。 実験には3つのタスクタイプ - 合成(リストの反転やソートなど)、視覚(mnistまたはcifar classification)、NLP - が含まれる。
  論文  参考訳（メタデータ） (2023-05-28T20:26:06Z)
• Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks [126.33843752332139]
  本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。 LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。 実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-04-16T11:30:26Z)
• SepTr: Separable Transformer for Audio Spectrogram Processing [74.41172054754928]
  分離可能トランス (Separable Transformer, SepTr) と呼ばれる新しい視覚変換器アーキテクチャを提案する。 SepTrは2つのトランスフォーマーブロックを逐次的に使用し、1つは同じ周波数ビン内のトークンに、もう1つは同じ時間間隔でトークンに出席する。 我々は3つのベンチマークデータセットで実験を行い、我々のアーキテクチャが従来のビジョントランスフォーマーや他の最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T19:48:43Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。