論文の概要: Attention-based representations for multi-task computation

• arxiv url: http://arxiv.org/abs/2608.04243v1
• Date: Tue, 04 Aug 2026 21:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.645168
• Title: Attention-based representations for multi-task computation
• Title（参考訳）: マルチタスク計算のための注意に基づく表現
• Abstract要約: 2つの単純かつ具体的なマルチタスクシナリオで要求されるヘッド数に境界を定めている。 第1のシナリオでは、線形予測器が与えられたリストの最小と最大の両方を計算できるようにベクトル表現を求める。 第2のシナリオでは、しきい値関数が与えられた$n$ビットの文字列のXORを計算することができるようにベクトル表現を求める。
• 参考スコア（独自算出の注目度）: 8.34204538904959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-head attention layers produce vector representations that support multiple downstream tasks. We establish bounds on the number of heads required in two simple and concrete multi-task scenarios. In the first scenario, a vector representation is sought so that linear predictors can compute both the smallest and largest numbers in a given list. In this case, it is known two attention heads with small embedding dimension and bit precision level suffice. We prove that a single attention head requires exponentially higher embedding dimension or precision level. In the second scenario, a vector representation is sought so that a polynomial threshold function can compute the XOR of a given string of $n$ bits. This scenario is analogous to the first one for $n=2$, since XOR is readily computed by a linear function using a vector representation that encodes both the AND and the OR of the two bits. We observe that $n$-bit XOR requires the product of the number of heads and the polynomial degree to be at least $n$, and we construct multi-head attention layers that match this lower bound. These results generalize to arbitrary (symmetric) Boolean functions, where the bound is given in terms of the threshold degree.
• Abstract（参考訳）: マルチヘッドアテンション層は、複数の下流タスクをサポートするベクトル表現を生成する。 2つの単純かつ具体的なマルチタスクシナリオで要求されるヘッド数に境界を定めている。 第1のシナリオでは、線形予測器が与えられたリストの最小と最大の両方を計算できるようにベクトル表現を求める。 この場合、小さな埋め込み次元とビット精度の低い2つのアテンションヘッドが知られている。 一つの注意ヘッドが指数関数的に高い埋め込み寸法や精度を必要とすることを証明した。 第2のシナリオでは、多項式しきい値関数が与えられた$n$ビットの文字列のXORを計算することができるようにベクトル表現を求める。 このシナリオは最初の$n=2$と類似しており、XORは2ビットの AND と OR をエンコードするベクトル表現を用いて線形関数によって容易に計算される。 我々は、$n$-bit XORがヘッドの数と多項式次数の積を少なくとも$n$でなければならないことを観察し、この下界に一致するマルチヘッドアテンション層を構築する。 これらの結果は任意の(対称な)ブール函数に一般化され、境界はしきい値の次数で与えられる。

関連論文リスト

• The Head Complexity of Boolean Functions in Single-Layer Attention [2.2727733134290813]
  単層アテンションのみのモデルで関数を計算するのに必要なアテンションヘッドの最小数について検討する。 k$headは$k$-bitパリティを計算するが、$(k+1)$-bitパリティを計算できない。 また、埋め込み次元と数値精度のためのコンパクト性境界を確立する。
  論文  参考訳（メタデータ） (2026-09-03T16:22:02Z)
• Two-Tower Quantum Matrix Chain Multiplication: Trading Qubits for Depth [73.08853228981701]
  行列連鎖乗法は、科学計算、機械学習、グラフ解析における問題である。 我々は、$K$行列の$mathcalW$を回路深さの量子状態にエンコードする量子サブルーチンであるemphTwo-Tower Matrixを提案する。
  論文  参考訳（メタデータ） (2026-07-14T18:42:40Z)
• Higher-Order Token Interactions via Quantum Attention [30.903467721896487]
  我々は、浅いハードウェアで実現可能な量子アテンションヘッドである textbfQuantum Higher-Order Attention (QHA) を導入する。 QHAは回路内で秩序$kのトークン相互作用を合成し、局所的な単一ビット読み出しを通じて公開する。 応用として、QHAは3つの領域にわたるコンパクトな高次相互作用検出器として機能する。
  論文  参考訳（メタデータ） (2026-06-10T05:33:12Z)
• On the Computational Hardness of Transformers [14.73362105392153]
  この結果から, トランスフォーマーの効率は, 独立評価値のLH$よりも高いことがわかった。 小さな埋め込み方式では、$LH$アテンションヘッドは別々に$LHN2 + o(1)$時間を必要とする。 大規模な埋め込み方式では、$LHN+ o(1)$算術演算を使用して別々に$LH$アテンションヘッドを計算することができる。
  論文  参考訳（メタデータ） (2026-03-11T21:48:43Z)
• Ehrenfeucht-Haussler Rank and Chain of Thought [51.33559894954108]
  本稿では、よく知られたトランスフォーマーアーキテクチャを基盤とした、ランクの新たな特徴付けについて述べる。 関数 $f$ のランクは、単一層変換器が要求する思考ステップの EmphChain の最小値に対応していることを示す。 また、マルチヘッド単一層トランスをキャプチャするマルチヘッドランクの概念を導入し、有界なマルチヘッドランクを持つ関数クラスのPAC学習性の解析を行う。
  論文  参考訳（メタデータ） (2025-01-22T16:30:58Z)
• A New Class of Algorithms for Finding Short Vectors in Lattices Lifted from Co-dimension $k$ Codes [1.8416014644193066]
  共次元$k$ over $mathbbZ_Pd$, ここでは$P$は素数である。 共次元の$$は、プロジェクションのパッキング特性である mod $P$ を1つの双対符号ワードに初期セットの非格子ベクトルに利用することで解決される。 そこで本研究では,反復数,すなわち全長拡大係数を最小化して,短い格子ベクトルが得られることを示す。
  論文  参考訳（メタデータ） (2024-01-22T22:17:41Z)
• Universality of max-margin classifiers [10.797131009370219]
  非ガウス的特徴に対する誤分類誤差の高次元普遍性と大域化写像の役割について検討する。 特に、オーバーパラメトリゼーションしきい値と一般化誤差はより単純なモデルで計算できる。
  論文  参考訳（メタデータ） (2023-09-29T22:45:56Z)
• Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
  DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
  論文  参考訳（メタデータ） (2023-07-08T16:00:59Z)
• On the Information Capacity of Nearest Neighbor Representations [21.915057426589748]
  脳には計算と記憶が区別できない統合アーキテクチャがある。 脳のアーキテクチャに触発され、$textitassociative calculation$のモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-09T23:45:16Z)
• Representation Learning for General-sum Low-rank Markov Games [63.119870889883224]
  非線形関数近似を用いたマルチエージェント汎用マルコフゲームについて検討する。 遷移行列が未知の非線形表現の上に隠れた低ランク構造を持つ低ランクマルコフゲームに焦点を当てる。
  論文  参考訳（メタデータ） (2022-10-30T22:58:22Z)
• Exponential Separation between Quantum and Classical Ordered Binary Decision Diagrams, Reordering Method and Hierarchies [68.93512627479197]
  量子順序付き二項決定図($OBDD$)モデルについて検討する。 入力変数の任意の順序で、OBDDの下位境界と上位境界を証明します。 read$k$-times Ordered Binary Decision Diagrams (k$-OBDD$)の幅の階層を拡張します。
  論文  参考訳（メタデータ） (2022-04-22T12:37:56Z)
• Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
  計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。 既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。 自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-12T22:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。