論文の概要: Beyond Multiplicity Correction: Sharp Retrieval Thresholds for Attention with Correlated Distractors
- arxiv url: http://arxiv.org/abs/2610.34682v2
- Date: Wed, 28 Oct 2026 08:29:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-30 22:39:27.498715
- Title: Beyond Multiplicity Correction: Sharp Retrieval Thresholds for Attention with Correlated Distractors
- Title（参考訳）: 多重度補正を超えて:関連ディトラクタによる注意のためのシャープ検索閾値
- Abstract要約: 冗長コンテキストは2つの異なる方法で注意に影響を与える: 多重度は質量を追加し、相関群内のスコア変動は極端に個々のスコアを生成する。
我々はこれらの効果を、指数関数的に多くのガウス的イントラクタを供給クラスタに配置し、その個数とサイズが指数関数的に次元に応じて増加するプラント検索モデルで分離する。
固定されたトークン数で正の相関が増加すると、重複の追加と異なり、乱れのない自由エネルギーが減少する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Redundant context affects attention in two distinct ways: multiplicity adds normalization mass, while score variation within correlated groups can produce extreme individual scores. We separate these effects in a planted retrieval model with exponentially many Gaussian distractors organized into supplied clusters whose number and size both grow exponentially with dimension. The model is a two-level generalized random energy model, whose classical free energy yields exact retrieval thresholds. Gaussian interpolation further shows that increasing positive correlation at fixed token count lowers the distractor free energy, unlike adding duplicates. Our main result establishes a sharp limitation of count correction, which subtracts the log cluster size from pre-softmax scores: this correction removes multiplicity but retains within-cluster extremes. Even when the inverse temperature is chosen after observing all scores, count correction requires a signal at least $\sqrt{2α_1}$, where $α_1$ is the exponential growth rate of the number of clusters. By contrast, averaging scores before exponentiation suppresses token-level fluctuations and lowers the optimal signal threshold to $\sqrt{2ρα_1}$, where $ρ$ is the within-cluster correlation. This gap persists after adding exponentially many singleton distractors, so group size alone does not identify the target, and extends, under explicit cumulant regularity assumptions, to fixed finite hierarchies of independent-increment scores. Finite-sample, stability, and participation results complement the asymptotic analysis. A controlled retrieval experiment with frozen sentence embeddings illustrates both sides of the distinction: averaging helps when the relevant item is a singleton, but can discard useful evidence when a relevant group contains multiple matching items.
- Abstract（参考訳）: 重複度は正規化質量を付加し、相関群内のスコア変動は極端に個々のスコアを生成する。
我々はこれらの効果を,指数関数的に多数のガウス散逸器を供給クラスタに配置し,その数と大きさが指数関数的に次元に応じて増大するプラント検索モデルで分離する。
このモデルは2段階の一般ランダムエネルギーモデルであり、古典的自由エネルギーは正確な検索しきい値を生成する。
ガウス補間はさらに、固定されたトークン数で正の相関が増加すると、重複の追加とは異なり、散逸した自由エネルギーが低下することを示している。
この補正は,マルチプライシティを除去するが,クラスタ内極端は保持する。
すべてのスコアを観察して逆温度を選択する場合でも、カウント補正には少なくとも$\sqrt{2α_1}$の信号が必要である。
対照的に、指数化前の平均スコアはトークンレベルの変動を抑制し、最適な信号閾値を$\sqrt{2ρα_1}$に下げる。
このギャップは指数関数的に多くのシングルトンイントラクタを加えた後に持続するので、グループのサイズだけでターゲットを識別せず、明示的な累積正規性仮定の下で、独立増分スコアの有限階層に拡張する。
有限サンプル、安定性、および参加結果は漸近解析を補完する。
凍結文の埋め込みによる制御された検索実験では、両者の区別が示される: 平均化は、関連するアイテムがシングルトンであるときに役に立つが、関連するグループに複数のマッチングアイテムが含まれている場合に有用な証拠を破棄することができる。
関連論文リスト
- Score-Based Learning of Cluster DAGs from Interventions [0.0]
クラスタDAGを学習する最初のスコアベース手法であるCOARSEを紹介する。
介入自体がクラスタ上の因果順序を識別し、エッジの学習はクラスタレベルのBICスコアの下でクラスタ毎の1つの局所探索に還元されることを示す。
合成および実世界の干渉データでは、COARSEは十分なサンプルを与えられた最先端のエッジリカバリと一致し、エッジフェーズは数百ノードの高密度グラフを含む最大2桁高速になる。
論文 参考訳（メタデータ） (2026-10-08T13:35:04Z) - Bracketing Uncertainty in Clustering Under the Manifold Hypothesis [3.8233569758620054]
クラスタ数のあいまいさはしばしば本質的であり、解決されるよりも定量化されるべきである。
我々は,データの不確実性を定量化するために,明示的なブラケット間隔を返すManifold-Based Clustering (MBC)を提案する。
以上の結果から,クラスタ数のあいまいさはしばしば本質的であり,解決するよりも定量化すべきであることが示唆された。
論文 参考訳（メタデータ） (2026-09-15T22:34:46Z) - One-Bit Clustering for Two Component Sub-Gaussian Mixture Models [17.177800879292963]
2成分のガウス混合モデルに対する最初の1ビットクラスタリング法を提案する。
この方法は、ディザード量子化器によって得られた各サンプルのエントリ毎に1ビットしか使用しない。
論文 参考訳（メタデータ） (2026-06-20T04:18:08Z) - Deconfounding Scores and Representation Learning for Causal Effect Estimation with Weak Overlap [75.41420283374737]
オーバーラップは因果治療効果推定の鍵となる条件である。
本稿では,デコンウンディングスコア(deconfounding scores)と呼ばれる特徴表現のクラスを提案する。
このクラスでは, 予後スコアが重なり合うことを示す。
論文 参考訳（メタデータ） (2026-04-01T12:19:42Z) - Fundamental Limits of Community Detection in Contextual Multi-Layer Stochastic Block Models [4.312207944236305]
高次元共変量行列と$L$スパースネットワークの合同観測からコミュニティ検出の問題を考える。
ネットワークの平均等級が一定であり,特徴数$p$が$n$に比例して増加するスパース体制では,対象ラベルの検出と推定が可能なシャープしきい値が導出される。
以上の結果から,この設定には統計的・計算的ギャップが存在しないことが示唆された。
論文 参考訳（メタデータ） (2026-02-09T00:27:54Z) - Almost Asymptotically Optimal Active Clustering Through Pairwise Observations [59.20614082241528]
そこで本研究では, ノイズと能動的に収集された応答を用いて, M$アイテムを未知数の$K$個別グループにクラスタリングするための新しい分析フレームワークを提案する。
クラスタリングの精度に対する望ましい信頼性を達成するのに必要なクエリ数の基本的下位境界を確立する。
我々は、一般化された同値比統計の計算可能な変種を開発し、その下限に対する性能ギャップを正確に推定できることを実証的に示す。
論文 参考訳（メタデータ） (2026-02-05T14:16:47Z) - Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳（メタデータ） (2024-11-04T14:29:02Z) - How many classifiers do we need? [50.69951049206484]
分類器間の不一致と偏極が、個々の分類器を集約することで得られる性能向上とどのように関連しているかを詳細に分析する。
分類器の個数で不一致の挙動を示す。
我々の理論と主張は、様々なタイプのニューラルネットワークを用いた画像分類タスクに関する経験的な結果によって裏付けられている。
論文 参考訳（メタデータ） (2024-11-01T02:59:56Z) - Revisiting Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [85.51611950757643]
IAC (Instance-Adaptive Clustering, インスタンス適応クラスタリング) を提案する。
IACは$ MathcalO(n, textpolylog(n) $の計算複雑性を維持しており、大規模問題に対してスケーラブルで実用的なものである。
論文 参考訳（メタデータ） (2023-06-18T08:46:06Z) - Lattice-Based Methods Surpass Sum-of-Squares in Clustering [98.46302040220395]
クラスタリングは教師なし学習における基本的なプリミティブである。
最近の研究は、低次手法のクラスに対する低い境界を確立している。
意外なことに、この特定のクラスタリングモデルのtextitdoesは、統計的-計算的ギャップを示さない。
論文 参考訳（メタデータ） (2021-12-07T18:50:17Z) - Statistical power for cluster analysis [0.0]
クラスターアルゴリズムは、生物医学研究でますます人気がある。
シミュレーションにより,共通解析におけるパワーと精度を推定する。
我々は,大規模なサブグループ分離が期待される場合にのみ,クラスタ分析を適用することを推奨する。
論文 参考訳（メタデータ） (2020-03-01T02:43:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。