論文の概要: The Anxiety of Influence: Bloom Filters in Transformer Attention Heads

• arxiv url: http://arxiv.org/abs/2602.17526v1
• Date: Thu, 19 Feb 2026 16:37:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:29.212679
• Title: The Anxiety of Influence: Bloom Filters in Transformer Attention Heads
• Title（参考訳）: 影響の不安:変圧器用アテンションヘッドのブルームフィルタ
• Abstract要約: 2つのヘッドは180個のユニークなコンテキストトークンであっても偽陽性率0-4%の高精度なメンバシップフィルタとして機能する。 当初ブルームフィルタ (L3H0) と同定された第4の頭部は, コンファウンド制御によりその見かけの容量曲線がシーケンス長のアーティファクトであることが判明し, 一般的なプレフィックスアテンションヘッドに再分類された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Some transformer attention heads appear to function as membership testers, dedicating themselves to answering the question "has this token appeared before in the context?" We identify these heads across four language models (GPT-2 small, medium, and large; Pythia-160M) and show that they form a spectrum of membership-testing strategies. Two heads (L0H1 and L0H5 in GPT-2 small) function as high-precision membership filters with false positive rates of 0-4\% even at 180 unique context tokens -- well above the $d_\text{head} = 64$ bit capacity of a classical Bloom filter. A third head (L1H11) shows the classic Bloom filter capacity curve: its false positive rate follows the theoretical formula $p \approx (1 - e^{-kn/m})^k$ with $R^2 = 1.0$ and fitted capacity $m \approx 5$ bits, saturating by $n \approx 20$ unique tokens. A fourth head initially identified as a Bloom filter (L3H0) was reclassified as a general prefix-attention head after confound controls revealed its apparent capacity curve was a sequence-length artifact. Together, the three genuine membership-testing heads form a multi-resolution system concentrated in early layers (0-1), taxonomically distinct from induction and previous-token heads, with false positive rates that decay monotonically with embedding distance -- consistent with distance-sensitive Bloom filters. These heads generalize broadly: they respond to any repeated token type, not just repeated names, with 43\% higher generalization than duplicate-token-only heads. Ablation reveals these heads contribute to both repeated and novel token processing, indicating that membership testing coexists with broader computational roles. The reclassification of L3H0 through confound controls strengthens rather than weakens the case: the surviving heads withstand the scrutiny that eliminated a false positive in our own analysis.
• Abstract（参考訳）: いくつかのトランスフォーマーの注目は、メンバシップテスタとして機能し、"このトークンは以前、コンテキストにありましたか? 我々はこれらの頭部を4つの言語モデル(GPT-2、中型、大型、Pythia-160M)で識別し、メンバーシップテスト戦略のスペクトルを形成することを示す。 2つのヘッド (L0H1 と L0H5 in GPT-2 small) は180個のユニークなコンテキストトークンであっても、偽陽性率 0-4\% の高精度なメンバシップフィルタとして機能する。 3番目のヘッド (L1H11) は、古典的なブルームフィルタの容量曲線を示している: その偽陽性率は、理論式 $p \approx (1 - e^{-kn/m})^k$ with $R^2 = 1.0$ and fit capacity $m \approx 5$ bits, saturating by $n \approx 20$ unique tokens に従う。 当初ブルームフィルタ (L3H0) と同定された第4の頭部は, コンファウンド制御によりその見かけの容量曲線がシーケンス長のアーティファクトであることが判明し, 一般的なプレフィックスアテンションヘッドに再分類された。 3つの真のメンバーシップテストヘッドは、初期層(0-1)に集中する多分解能システムを形成し、誘導と以前のトケンヘッドとは分類学的に異なる。 これらのヘッドは、繰り返し名前だけでなく、繰り返しトークンタイプに反応し、重複トークンのみのヘッドよりも43\%高い一般化を行う。 アブレーションは、これらのヘッドが繰り返しおよび新しいトークン処理の両方に寄与し、メンバーシップテストがより広範な計算的役割と共存していることを示している。 コンファウンドコントロールによるL3H0の再分類は、このケースを弱めるのではなく、強化している。

関連論文リスト

• HAP: Head-Adaptive Visual Token Pruning via Cross-Modal Alignment [76.68875424389057]
  既存の手法では、すべての頭部に一様にテキストから視覚への注意を平均化することで、各視覚トークンをスコアリングする。 頭が不一致で 平均的に支配され 背景のトークンを増幅し きめ細かな手がかりを 吐き出す 本稿では,各頭部のプロンプトと画像領域の整合性を評価する指標であるPAQ(Prompt-Grounded Attention Quality)を提案する。
  論文  参考訳（メタデータ） (2026-08-24T23:55:36Z)
• Beyond Tokens: Probing Higher-Order Epistasis in Learned Protein Representations [3.1035948531044912]
  ORBITは、相互作用の存在、表現のアクセシビリティ、機能回復を分離する相互作用変換フレームワークである。 我々は、リッジ回帰、標準の独立トークン、非線形独立トークン、残留相互作用トークン化(RIT)を比較した。 RITは、トークン段階でのペアワイズアクセシビリティを、双方の独立した制御と比較して著しく向上させた。
  論文  参考訳（メタデータ） (2026-08-24T23:35:36Z)
• A phase transition in the exactness of the NPA hierarchy at the critical doubly-tilted CHSH functional [0.0]
  B_=langle A_0rangle+l B_0rangle+mathrmCHSH$。 すべての$,ge 1$とすべてのレベルで、階層は、アフィンのアイデンティティを実現する3つの明確な有理証明を通して、正確である。 サブクリティカル側では、正確な算術の最初の4つのレベルを認証する。
  論文  参考訳（メタデータ） (2026-07-15T12:34:25Z)
• Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads [19.588124754970142]
  我々は,OV回路出力の投射によって各頭部を解答不能な方向に向けてスコアする書き込み認識検出器であるLogit-Contribution Scoring(LOCOS)を紹介する。 NoLiMaノンリテラル検索ベンチマークの上位LOCOSヘッドを平均で比較すると、3つのモデルファミリーでROUGE-Lは従来の注意に基づく検出よりも低いカウントで崩壊する。
  論文  参考訳（メタデータ） (2026-07-01T14:41:07Z)
• Higher-Order Token Interactions via Quantum Attention [30.903467721896487]
  我々は、浅いハードウェアで実現可能な量子アテンションヘッドである textbfQuantum Higher-Order Attention (QHA) を導入する。 QHAは回路内で秩序$kのトークン相互作用を合成し、局所的な単一ビット読み出しを通じて公開する。 応用として、QHAは3つの領域にわたるコンパクトな高次相互作用検出器として機能する。
  論文  参考訳（メタデータ） (2026-06-10T05:33:12Z)
• Derivative Informed Learning of Exchange-Correlation Functionals [46.44973075720396]
  機械学習 (ML) Exchange-correlation (XC) 関数は、人間の設計した密度関数近似を置き換えることを目的としている。 我々は,B3LYP/def2-SVPターゲットを再現するために,$mathcalO(N4)$-scaling ML-XC関数を訓練したハイブリッド蒸留条件について検討した。 本稿では、参照ハイブリッド関数からの付加情報を含む損失であるデリバティブインフォームドXC-ロス(DI-Loss)を紹介する。
  論文  参考訳（メタデータ） (2026-06-02T23:07:54Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Correcting Selection Bias in Sparse User Feedback for Large Language Model Quality Estimation: A Multi-Agent Hierarchical Bayesian Approach [0.9558392439655014]
  本研究では, 個別の相互作用に対して, 地絡ラベルを必要としない3次元階層型ベイズパイプラインを提案する。 フィードバックチャネル(典型的には正のフィードバック率と負のフィードバック比)の軽度先行は、バイアス比が一掃されるにつれて階層的インフォームドは4-13 pp of $Qstar$ に留まる。 チャネル側の先行がなければ、すべての弱いプライオリティは、22-33 pp.で$Qstar$を逃す。
  論文  参考訳（メタデータ） (2026-05-12T14:22:06Z)
• From Prerequisites to Predictions: Validating a Geometric Hallucination Taxonomy Through Controlled Induction [0.0]
  幾何学的幻覚分類法が幻覚のタイプを識別できるかどうかを検証する。 1 と 2 はどちらの空間でも分離しない。 Type1/2非分離は124Mパラメータで真である。
  論文  参考訳（メタデータ） (2026-02-27T20:56:59Z)
• A Boundary-Metric Evaluation Protocol for Whiteboard Stroke Segmentation Under Extreme Imbalance [0.0]
  境界対応メトリクスと細いサブセットの株式分析は、損失関数のランク付けと隠されたトレードオフの公開方法を変える。 DeepLabV3-MobileNetV3モデルでは5つの損失がそれぞれ3回トレーニングされ、12のホールドアウトイメージで評価される。 オーバーラップベースの損失は、クロスエントロピーでF1を20ポイント以上改善する。
  論文  参考訳（メタデータ） (2026-02-26T05:16:18Z)
• Debiasing LLMs by Masking Unfairness-Driving Attention Heads [47.639403863507965]
  DiffHeadsは,大規模言語モデルのための軽量なデバイアス処理フレームワークである。 DiffHeadsは、モデルユーティリティを損なうことなく、それぞれDAとCoTで49.4%、40.3%の不正性を減少させることを示す。
  論文  参考訳（メタデータ） (2025-10-11T09:48:31Z)
• Sparse Representations Improve Adversarial Robustness of Neural Network Classifiers [0.0]
  ディープニューラルネットワークは、画像分類タスクにおいて極めてよく機能するが、慎重に構築された敵の摂動に弱いままである。 この研究は、線形次元の減少を単純なデータ適応型防衛として再考する。 実証的には、プロジェクション後の小さな非線形ネットワークにより、SPCAは強いホワイトボックスとブラックボックス攻撃の下で、PCAよりも常に優雅に低下する。
  論文  参考訳（メタデータ） (2025-09-25T13:21:22Z)
• Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
  対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。 次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。 C=e(log H)1-Omega(1)$。
  論文  参考訳（メタデータ） (2025-02-18T02:52:00Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• Semi-Supervised Unconstrained Head Pose Estimation in the Wild [57.11798881492183]
  本研究では,最初の半教師なしヘッドポーズ推定手法であるSemiUHPEを提案する。 本手法は, 前回のランドマークに基づくアフィンアライメントよりも, 野生の頭部のアスペクト比不変収穫が優れているという観測に基づいている。 提案手法は, 汎用物体回転回帰法や3次元頭部再構成法など, その他の密接に関連する問題を解く上でも有用である。
  論文  参考訳（メタデータ） (2024-04-03T08:01:00Z)
• Certification of three black boxes with unsharp measurements using $3 \ ightarrow 1 $ sequential quantum random access codes [3.967421455246713]
  我々は,3ドル右ロー1ドル連続乱数アクセス符号(RAC)に基づくアンシャープ測定を用いた3要素準備変換測定実験について検討した。 3 rightarrow 1 $ sequence quantum random access codes (QRACs) における2つの相関証人間の最適なトレードオフを導出する。 古典的相関証人の3ドル右ロー1ドル連続RACに基づく違反は,双方の相関証人によって同時に取得できないことがわかった。
  論文  参考訳（メタデータ） (2021-03-04T14:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。