論文の概要: Which Question Is Your Attention Metric Answering? Attention Rows as Compositional Data

• arxiv url: http://arxiv.org/abs/2608.14712v1
• Date: Tue, 11 Aug 2026 16:44:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.045148
• Title: Which Question Is Your Attention Metric Answering? Attention Rows as Compositional Data
• Title（参考訳）: 留意点回答とは何か? : 構成データとしての留意点
• Abstract要約: 1つの数字の要約は、シンクがどれだけ注意を払っているか、残りがどのようにコンテンツトークンに分割されているかという2つの質問を混ぜている。 行を合成データとして扱うことは、それらを正確に分離する。 各コンベンションが安全な場所をマップし、フリーズされたサンプル予測器をテストし、すべての番号を再生するコードをリリースします。
• 参考スコア（独自算出の注目度）: 0.3437656066916039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Each row of a transformer's attention matrix is a probability distribution over tokens, and in trained models most of that probability lands on a single \emph{sink} token, usually the first. Standard tools for comparing attention rows (cosine similarity, Jensen--Shannon divergence, Shannon entropy) therefore hinge on a choice papers rarely report: keep the sink, or drop it and renormalize. This choice can reverse conclusions. On ten pretrained models from five families, 17--47% of verdicts about which of two heads is more similar flip with the convention, and the most prominent structure in a standard BERT head-clustering pipeline is an artifact of it. The reason is that one-number summaries mix two questions: how much attention the sink takes, and how the rest is divided among the content tokens. Treating rows as compositional data separates them exactly: the Aitchison distance splits orthogonally into a sink term and a content term, entropy splits by an exact identity, and the content distance is characterized by invariances the transformer itself possesses. The separation matters in practice: most measured entropy collapse during training is the sink growing, not attention sharpening (30% of the drop at 70M parameters, 95% at 1B, 79% at 1.4B), and pruning heads with the wrong channel can inflate perplexity more than a hundredfold. We map where each convention is safe, test a frozen out-of-sample predictor (one confirmation, one abstention, one failure), and release code regenerating every number.
• Abstract（参考訳）: 変圧器の注意行列の各行はトークン上の確率分布であり、訓練されたモデルでは、ほとんどの確率は1つの \emph{sink} トークンに到達する。 注意列を比較する標準的なツール(コサインの類似性、Jensen-Shannon divergence、Shannon entropy)のため、選択した論文にヒンジを付けることは滅多にない: シンクを維持するか、落として再正常にするか。この選択は、結論を覆すことができる。5つのファミリーから事前訓練された10のモデルでは、2つのヘッドのどちらがよりよく似たフリップであり、標準BERTヘッドクラスタリングパイプラインの最も顕著な構造は、その成果物である。 理由は、1つの数字の要約が、シンクがどれだけ注意を払っているか、残りがどのようにコンテンツトークンに分割されるかという2つの質問を混ぜているからです。 Aitchison距離は直交的にシンク項とコンテンツ項に分裂し、エントロピーは正確な同一性によって分裂し、内容距離は変換器自体が持つ不変性によって特徴づけられる。 最も測定されたエントロピー崩壊はシンク成長であり、注意を引くことなく(70Mパラメータの30%が1Bで95%が1Bで79%が1.4Bで落下し)、間違ったチャネルを持つプルーニングヘッドは100倍以上の難易度を増大させることができる。 各コンベンションが安全な場所をマップし、凍結したアウトオブサンプル予測器(1つの確認、1つの停止、1つの失敗)をテストし、すべての番号を再生するリリースコードを作成します。

関連論文リスト

• Cross-Block Conditioning in Deep Boltzmann Machines for Statistical Data Fusion [0.0]
  本稿では,各行が実際に観測するものから抽出したターゲットに対して,マルチ予測対象を限定する,観測ブロック型マルチプレディションを提案する。 設定を生き残る差別的基準を持つことで、ジョイントモデルがまったく必要かどうかを問うことができます。
  論文  参考訳（メタデータ） (2026-09-14T02:26:16Z)
• Certified Topological Interaction in Neural Representations: Class Disentanglement Is Mostly Pairwise [0.0]
  我々は最近導入された断面特徴プロファイルを用いて,ラベル付き点雲間のトポロジ的相互作用を測定する。 111の訓練されたネットワークと52,650の認定された測定値で、絡み合いは深度が低下し、最初のエポックに集中している。 クラス三重の関節の絡み合いは、最強の対の97%の3重層細胞と99.5%の深層細胞、測定値のヌルフロアよりもはるかに低い位置にある。
  論文  参考訳（メタデータ） (2026-09-08T10:51:56Z)
• Lévy Attention: Single-Pass Predictive Uncertainty for Continuous-Time Attention [0.0]
  レヴィ・アテンション(英: Lévy Attention)は、不均質なランダム測度に対して出力が積分的なクロスアテンション作用素である。 t-PatchGNNオペレーターは、一致した制御に対してコストを5.6%の精度でスワップする。 1回のパスでは3,383人の未確認患者が1.4秒で信頼されている。
  論文  参考訳（メタデータ） (2026-08-19T17:50:16Z)
• Bayesian Wind Tunnels for Model Selection [0.4779196219827507]
  変圧器は固定仮説クラス内で正確にベイズフィルタを行うことができることを示す。 離散統計学が算術を必要とする場合、モデル選択は整数トークンで成功する。 定常性制御は、安定なセマンティクスであり、整数のアイデンティティではなく回路のコンパイルを可能にする。
  論文  参考訳（メタデータ） (2026-07-01T04:05:08Z)
• Protein contacts are already in the attention: a single-forward-pass alternative to the Categorical Jacobian [0.0]
  再建された信号は、すでに注目ヘッドの小さなサブセットに集中していることを示す。 CAMEOスプリットでは、選択も評価データモデルも、暗黙的に記憶されていない。 いずれの手法も、散布前のZhang数からリーククリーン数へ30～36ポイント減少し、事前学習前のかなりの重複と一致している。
  論文  参考訳（メタデータ） (2026-06-20T04:35:51Z)
• The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation [55.62875959637507]
  本研究では,FIDを2軸パネル上のランダムな変数として扱う。 クラス条件の ImageNet 256x256 でトレーニングした数百の SiT ネットワーク上で,その分散を直接測定する。
  論文  参考訳（メタデータ） (2026-06-18T17:49:32Z)
• CaricHarmony: Contrastive Diffusion Paths for Identity-Preserving Caricature Synthesis [49.596677723190886]
  スケッチベースの似顔絵合成は、基本的な失敗モードに悩まされる。 アイデンティティと形状の条件は拡散モデルに組み合わされ、地味な肖像画や認識不能な歪みに対して崩壊する。 並列な未汚染拡散経路を通じてこの汚染を明示的に解消する最初の訓練不要な手法であるCaricHarmonyを提案する。
  論文  参考訳（メタデータ） (2026-06-11T22:57:59Z)
• Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
  現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。 我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。 解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
  論文  参考訳（メタデータ） (2026-05-08T06:15:50Z)
• Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation [0.0]
  連鎖忠実性に関する最近の研究は、単一集合数について報告している。 本論文は、忠実性はモデルの客観的かつ測定可能な性質ではないことを示す。
  論文  参考訳（メタデータ） (2026-03-20T17:48:43Z)
• Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
  本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。 我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
  論文  参考訳（メタデータ） (2025-10-02T15:22:28Z)
• Semi-supervised Counting via Pixel-by-pixel Density Distribution Modelling [135.66138766927716]
  本稿では,トレーニングデータのごく一部をラベル付けした半教師付き群集カウントに着目した。 我々は1つの決定論的値ではなく、確率分布として回帰するためにピクセル単位の密度値を定式化する。 本手法は,様々なラベル付き比率設定の下で,競争相手よりも明らかに優れる。
  論文  参考訳（メタデータ） (2024-02-23T12:48:02Z)
• Collective Robustness Certificates: Exploiting Interdependence in Graph Neural Networks [71.78900818931847]
  ノード分類、画像分割、名前付き一致認識といったタスクでは、複数の予測を同時に出力する分類器があります。 既存の対向ロバスト性証明は、それぞれの予測を独立に考慮し、従ってそのようなタスクに対して過度に悲観的である。 本稿では,摂動下で安定に保たれることが保証される予測数を計算した最初の集合ロバスト性証明を提案する。
  論文  参考訳（メタデータ） (2023-02-06T14:46:51Z)
• Completely Self-Supervised Crowd Counting via Distribution Matching [92.09218454377395]
  我々は,密集した群集数に対するトレーニングモデルに対する完全な自己超越的アプローチを提案する。 トレーニングに必要な入力は、大量の未ラベルの群衆画像以外は、群衆数に近似した上限である。 提案手法は,自然群集が逆伝播の誤り信号を生成するために利用可能な電力法分布に従うという考え方に富む。
  論文  参考訳（メタデータ） (2020-09-14T13:20:12Z)
• Plots of the cumulative differences between observed and expected values of ordered Bernoulli variates [0.0]
  信頼性図」("calibration plots"とも呼ばれる)は、予測と結果の重大な相違を検出し、診断するのに役立つ。 標準信頼性図は、予測の観測値と期待値のヒストグラムに基づく。 標準信頼性図のいくつかの変種は、硬いヒストグラムをソフトカーネル密度推定に置き換えることを提案する。
  論文  参考訳（メタデータ） (2020-06-03T20:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。