論文の概要: Retrieval Capacity of Self-Attention Under Competition

• arxiv url: http://arxiv.org/abs/2609.37879v1
• Date: Tue, 29 Sep 2026 15:53:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.710789
• Title: Retrieval Capacity of Self-Attention Under Competition
• Title（参考訳）: 競争下における自己意識の検索能力
• Abstract要約: 選択した損失許容範囲内に留まるために必要な効果的な注意セットサイズを推定する。 比較的小さな選択されたセットは、NLLをフルアテンションベースラインに近づけることができる。 固定されたサポート事実による実験は、追加の背景がトークンを注意ランクに下げることを示している。
• 参考スコア（独自算出の注目度）: 4.109803241412197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How many tokens from its context does a language model actually use, and what determines that number? We study this question through self-attention. Without retraining, we retain only the tokens with the highest attention weights at each head, layer, and query, keeping their original weights unchanged. By varying the selected set size and measuring the increase in negative log-likelihood (NLL), we estimate the effective attention set size needed to stay within a chosen loss tolerance. Relatively small selected sets can keep NLL close to the full-attention baseline, although the required size varies across models. Attention-based selection substantially outperforms random selection. Selected sets exhibit geometric structure, although geometric separation alone does not establish that model loss is preserved. Extending context while evaluating the same prediction targets increases the required set size, while its fraction of context decreases over the tested range. Experiments with a fixed supporting fact show that additional background pushes its tokens down the attention ranking and reduces their attention mass. Renormalizing the retained weights can substantially reduce the required set size, showing that it also depends on how selected representations are combined. Conditional theoretical models explain how competition and attention-mass retention can produce growing set sizes without more distinct information to retrieve. These results provide a way to measure effective attention set size in language models and investigate its dependence on context, competition, and aggregation.
• Abstract（参考訳）: そのコンテキストから、言語モデルが実際に使用するトークンの数と、その数を決定するものは何でしょう? 私たちはこの質問を自己注意を通して研究する。 再トレーニングなしでは、各ヘッド、レイヤ、クエリに最も注意を払っているトークンだけが保持され、元のウェイトは変更されません。 選択した設定サイズを変化させて負の対数類似度(NLL)の増加を測定することにより、選択した損失許容範囲内に留まるために必要な効果的な注意セットサイズを推定する。 比較的小さな選択されたセットは、NLLをフルアテンションベースラインに近づけることができるが、必要なサイズはモデルによって異なる。 注意に基づく選択は、ランダム選択を大幅に上回る。 選択された集合は幾何学的構造を示すが、幾何学的分離だけではモデル損失は保存されない。 同じ予測対象を評価しながらコンテキストを拡張することで、必要なセットサイズが増加し、テスト範囲でコンテキストの分画が減少する。 固定された支持事実を用いた実験は、追加の背景がトークンを注意ランクから押し下げ、注意質量を減少させることを示している。 保持された重みの正規化は、必要なセットサイズを大幅に削減し、選択された表現をどのように組み合わせるかにも依存することを示す。 条件理論モデルは、コンペティションとアテンション・マスの保持が、より明確な情報を得ることなく、どのように成長するセットサイズを生成できるかを説明する。 これらの結果は、言語モデルにおける効果的な注意セットのサイズを測定し、文脈、競合、集約への依存を調査する方法を提供する。

関連論文リスト

• SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking [39.77760016762439]
  トレーニング後の注意分散は、事前訓練されたトランスフォーマーの2次累積注意コストを低減させる。 本稿では,言語モデリングの損失を減らし,文脈ランキングをエンドツーエンドに最適化する,スパース・アテンション・スパシフィケーション・メカニズムであるSimple Attention Sparsification (SAS)を提案する。 SASは、注意予算全体で訓練可能なスパークアテンションベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-09-11T17:58:06Z)
• Model selection with proper scoring rules on data sets of time series: prefer the mean scaled score [0.13599496385950985]
  複数の時系列のデータセットから評価した確率的予測モデルにおけるモデル選択の問題について検討する。 このような相違はスコアの分布の歪みから生じることを示す。 テストセットのサイズが大きくなると、すべてのアグリゲーション基準は同じモデル選択決定に収束する。
  論文  参考訳（メタデータ） (2026-06-23T15:36:28Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• LUCoS: Latent Unsupervised Context Selection for Tabular Foundation Models [1.1922891806996732]
  LUCoSは、教師なし事前フィルタネットワーク(PFN)からの埋め込みによって誘導される潜時幾何学に置き換える。 LUCoSは6つの低ラベル予算のデータセットで第1位であり、結論はメトリクスとデータセットレベルのチェックで安定している。
  論文  参考訳（メタデータ） (2026-05-26T16:31:39Z)
• It Just Takes Two: Scaling Amortized Inference to Large Sets [1.2879523047871226]
  後続モデルから表現学習を分離する戦略を導入する。 提案手法は平均プールのDeep Setを最大2個のセットで訓練し,任意のセットサイズに一般化するエンコーダを生成する。 私たちのアプローチは、計算のごく一部で標準ベースラインにマッチしたり、性能を上回ります。
  論文  参考訳（メタデータ） (2026-05-08T16:32:34Z)
• UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
  ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。 これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。 本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:51:10Z)
• Toward Corpus Size Requirements for Training and Evaluating Depression Risk Models Using Spoken Language [7.6109649792432315]
  本研究は,テストセットおよび列車セットの変動が制御された研究における性能に与える影響について述べる。 その結果,1Kサンプル以下のテストサイズでは,より大きなトレーニングセットサイズであってもノイズのある結果が得られた。 安定した結果を得るためには、少なくとも2Kのトレーニングセットサイズが必要だった。
  論文  参考訳（メタデータ） (2024-12-31T19:32:25Z)
• Size-invariance Matters: Rethinking Metrics and Losses for Imbalanced Multi-object Salient Object Detection [133.66006666465447]
  現在のメトリクスはサイズに敏感で、大きなオブジェクトが集中し、小さなオブジェクトが無視される傾向があります。 サイズに基づくバイアスは、追加のセマンティック情報なしでは不適切であるため、評価はサイズ不変であるべきだと論じる。 我々は,この目標に適した最適化フレームワークを開発し,異なる大きさのオブジェクトの検出において,大幅な改善を実現した。
  論文  参考訳（メタデータ） (2024-05-16T03:01:06Z)
• Data Selection for Language Models via Importance Resampling [90.9263039747723]
  我々は、望まれるターゲット分布に合わせるために、大規模な未ラベルデータセットのサブセットを選択するという問題を形式化する。 我々は、LMデータ選択のために低次元で使用される古典的な重要度再サンプリング手法を拡張した。 DSIRフレームワークをhash n-gram機能でインスタンス化し、4.5時間で1億のドキュメントを選択できる。
  論文  参考訳（メタデータ） (2023-02-06T23:57:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。