論文の概要: Choosing the Number of Attention Heads from Intrinsic Dimension: A Small-Scale Study

• arxiv url: http://arxiv.org/abs/2610.19966v1
• Date: Wed, 14 Oct 2026 10:50:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.10698
• Title: Choosing the Number of Attention Heads from Intrinsic Dimension: A Small-Scale Study
• Title（参考訳）: 内因性次元から注意頭数を選択する:小規模研究
• Abstract要約: WikiText の DistilBERT 埋め込みをトレーニングしたネストドロップアウト VAE を用いて,本質的な次元を推定する。 スクラッチから訓練した小さな4層トランスでは、10頭と32頭が統計的にSST-2およびMRPCに等価である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The number of attention heads in a transformer is usually set by convention or grid search. We test a simple heuristic for setting it in advance: estimate the intrinsic dimension of token representations without labels, and use roughly that many heads. We estimate intrinsic dimension with a nested-dropout VAE trained on DistilBERT embeddings of WikiText-2, choosing the KL weight at the knee of the VAE's rate-distortion curve rather than by hand. This gives $k^*=9.2$ (95% CI [8.6, 9.8]). In a small 4-layer transformer trained from scratch, 10 heads and 32 heads are statistically equivalent on SST-2 and on MRPC (paired TOST over 10 seeds, $\pm1$ point margin), with 69% fewer attention parameters for the 10-head model. Training 10 heads from the start also slightly outperforms training 32 heads and pruning to 10 (0.6 points, $p=0.008$). The evidence is narrow: two classification tasks, one small architecture, no pretrained models, and no formal link between intrinsic dimension and head count. We present the result as a practical heuristic worth testing at larger scale, not as a general principle.
• Abstract（参考訳）: トランスのアテンションヘッドの数は、通常、コンベンションまたはグリッドサーチによって設定される。 ラベルなしでトークン表現の本質的な次元を推定し、およそ多くのヘッドを使用する。 WikiText-2 の DistilBERT 埋め込みをトレーニングしたネストドロップアウト VAE を用いて固有次元を推定し,VAE の速度歪み曲線の膝部における KL 重みを手作業で選択した。 これは$k^*=9.2$(95% CI [8.6, 9.8])を与える。 SST-2とMRPC(TOST over 10 seed, $\pm1$ point margin)では、スクラッチからトレーニングした小さな4層トランスフォーマーが統計的に等価であり、10ヘッドモデルの注意パラメータは69%減少した。 スタート時から10人のヘッドが32人のヘッドをわずかに上回り、10人(0.6ポイント、$p=0.008$)にプルーニングする。 2つの分類タスク、1つの小さなアーキテクチャ、1つの事前訓練されたモデル、本質的な次元と頭数の間の公式なリンクがない。 この結果は,一般原則としてではなく,大規模での実用的ヒューリスティックな価値テストとして提示する。

関連論文リスト

• Emotion as a Distribution: Joint Valence-Arousal Probability Learning for Speaker-Independent Multimodal Emotion Recognition [0.4779196219827507]
  マルチモーダル認識装置は 人間の感情を 1つのハードラベルに分解する 我々は、認識者が感情空間上の分布を公開するべきだと論じている。 我々のシステムは、ヴァレンス-アルーサル平面上で9時間9ドル確率行列を出力する。
  論文  参考訳（メタデータ） (2026-09-04T22:34:14Z)
• TabPFN beyond Tabular Data: Calibration and Accuracy on Multimodal Embeddings [2.4483752182160954]
  我々はTabPFNを,凍結画像,テキスト,オーディオエンコーダのためのプラグアンドプレイ,ゼログレートな分類ヘッドとして評価する。 TabPFNは14のデータセット、11のエンコーダ、3つのモダリティにまたがる22,820回の評価エピソードにおいて、負の対数類似度(NLL)と期待の校正誤差(ECE)の双方において、9つの分類長の中で最高の平均ランクを達成している。 その精度の利点は条件付きであり、中程度から高いショット数と低からモデレートの特徴次元に集中している。
  論文  参考訳（メタデータ） (2026-07-13T02:11:27Z)
• Even Heads Fix Odd Errors: Mechanistic Discovery and Surgical Repair in Transformer Attention [1.58969890720707]
  Llama-3.1-8B-Instructにおける形式依存推論失敗の力学ケーススタディを提案する。 このモデルは、チャットやQ&Aフォーマットでは「9.11」が「9.8」よりも大きいと誤って判断するが、単純な形式では正しく答える。 25%の注意頭を用いて完全修復を行い,60%のパターン置換閾値を同定した。
  論文  参考訳（メタデータ） (2025-08-26T20:33:50Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Differentiable Subset Pruning of Transformer Heads [71.7904179689271]
  差別化可能なサブセットプルーニングと呼ぶ新しいヘッドプルーニング手法を導入する。 分割可能なサブセットプルーニングは,スパーシリティレベルを正確に制御しながら,従来の作業と同等あるいは良好に動作可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-10T13:08:34Z)
• Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
  学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。 我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
  論文  参考訳（メタデータ） (2021-06-16T08:27:31Z)
• Low-Rank Bottleneck in Multi-head Attention Models [74.83235382203604]
  現在のアーキテクチャにおけるヘッド数とヘッドサイズの間のスケーリングは、注目ヘッドの低ランクボトルネックを引き起こします。 本稿では,アテンションユニットの頭部サイズを入力シーケンス長に設定し,ヘッド数に依存しないようにすることを提案する。
  論文  参考訳（メタデータ） (2020-02-17T16:16:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。