論文の概要: Information from coincidences

• arxiv url: http://arxiv.org/abs/2606.25042v1
• Date: Tue, 23 Jun 2026 18:01:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 21:36:10.197489
• Title: Information from coincidences
• Title（参考訳）: 偶然の情報
• Authors: Akshay Balsubramani,
• Abstract要約: 我々は、情報理論の変分結果の広い範囲を統一する1つの代数的混合偶然同一性導出を証明した。 アイデンティティは、経験的分布の集中、仮説テストエラー指数、変化測定の不等式、まれなパターンの偶然を規定する法則といった、情報理論の統一的な基盤を生み出している。
• 参考スコア（独自算出の注目度）: 0.42671348654734564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove a single algebraic mixed coincidence identity that unifies a broad swath of information-theoretic variational results. For any family of priors $\{π_i\}$ and real exponents $\{ α_i \}$, the log of the mixed count $E_{x\simν}\!\left[\prod_{i=1}^W π_i^{α_i}(x)\right]$ is simultaneously a Boltzmann coincidence weight, an exponential-family normalizer, a maximum-entropy value, and a KL-barycenter optimum. The identity yields a unified derivation of classical cornerstones of information theory: concentration of empirical distributions (Sanov-type decompositions and Gibbs conditioning), hypothesis-testing error exponents (Chernoff information and its multi-way analogue), change-of-measure inequalities (Donsker-Varadhan and PAC-Bayes), and laws governing rare-pattern coincidences (Erdos-Renyi run-length, iterative guesswork, rate-distortion, and birthday thresholds). Each is recovered as a specialization of the same algebraic equality. It strictly generalizes the classical Renyi entropy and divergence variational formulas (one and two priors respectively) to a $W$-prior simplex, and holds for unnormalized and continuum-indexed priors. Among its consequences are an exact multi-prior PAC-Bayes penalty that subtracts an explicit "coincidence bonus" from the usual single-prior posterior penalty, and the asymptotic MAP error exponent for $W$-ary hypothesis testing as an edge-restricted simplex optimum. We demonstrate the calculus at scale on two large alphabets encoding richly modeled sequential languages: on language-model next-token predictives where we recover contrastive decoding, and on human genomic regulatory sequence where it separates correlated from diverse prior families along a sliding-window trace.
• Abstract（参考訳）: 我々は、情報理論の変分結果の広い範囲を統一する単一の代数的混合一致性を証明した。 先行数 $\{π_i\}$ および実指数 $\{ α_i \}$ に対して、混合数 $E_{x\simν}\! \left[\prod_{i=1}^W π_i^{α_i}(x)\right]$ はボルツマンの同時一致重み、指数族正規化器、最大エントロピー値、KL-バリ中心最適化である。 このアイデンティティは、経験的分布の集中(Sanov型分解とGibs条件付け)、仮説テストエラー指数(Chernoff情報とその多方向類似)、測定の不等式の変化(Donsker-Varadhan と PAC-Bayes)、まれなパターンの一致を規定する法則(Erdos-Renyi run-length, Iterative guesswork, rate-distortion, birthday thresholds)である。 それぞれは同じ代数的同値性の特殊化として回収される。 古典的な Renyi エントロピーと発散変分式(それぞれ 1 と 2 の先行)を$W$-prior simplex に厳密に一般化し、非正規化および連続的インデックス付き前置詞を保持する。 その結果として、通常の単一プライアー後ペナルティから明示的な「共犯ボーナス」を減じる、正確な多重プライアーPAC-Bayesペナルティや、エッジ制限された単純度最適化として$W$-ary仮説テストのための漸近MAPエラー指数がある。 比較的復号を復元する言語モデル次トーケン予測法と,スライディングウインドウトレースに沿った多様な先行家系と相関関係を持つヒトゲノム制御シーケンスについて,リッチなモデル付きシーケンシャル言語を符号化する2つの大きなアルファベットを大規模に示す。

関連論文リスト

• Exponential families from a single KL identity [7.106986689736826]
  指数族は、ソフトマックス、ガウス、ボルツマン分布など、現代の機械学習の中心となる分布を含んでいる。 KL 差 $mathrmKL(q | p_|)$ を対数分割関数 $A()$ とモーメント $_q$ で表す指数族に対する単純な恒等式を分離する。 注目すべきことに、この同一性は、$mathrmKL geq 0$ suffices が直接置換と再配置によって古典的に得られる結果の集合を導出する唯一の事実と一致している。
  論文  参考訳（メタデータ） (2026-04-30T15:48:03Z)
• Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
  基本的で長期にわたる課題は、その効率的な近似である。 一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。 本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
  論文  参考訳（メタデータ） (2026-04-09T16:38:14Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• Correlated Mutations for Integer Programming [0.0]
  本研究は、進化戦略(IESs)の基盤を確立することを目的としている。 IESはすでにIP処理に優れていますが、離散化や高度なパッチを連続演算子に適用することで実現しています。 整数決定変数の突然変異分布に着目した。 エントロピー関数を含むそれらの理論的性質を考察し、拡張性のある相関突然変異分布を生成する方法を提案する。
  論文  参考訳（メタデータ） (2025-06-27T08:24:15Z)
• Stochastic Methods in Variational Inequalities: Ergodicity, Bias and Refinements [19.524063429548278]
  Extragradient (SEG) と Gradient Descent Ascent (SGDA) は min-max 最適化と変分不等式問題に対する優越アルゴリズムである。 これらのアルゴリズムに固有の本質的な構造を定量化し定量化するための我々の取り組み。 定数のステップサイズSEG/SGDAを時間同質マルコフ連鎖として再キャストすることにより、大数の第一種法則と中心極限定理を確立する。
  論文  参考訳（メタデータ） (2023-06-28T18:50:07Z)
• Sparse random matrices and Gaussian ensembles with varying randomness [0.0]
  ガウス分布から結合定数を様々な方法で引いたランダムハミルトニアンを持つ$N$量子ビットのシステムについて検討する。 我々は、ハミルトニアンにおける非ゼロ独立項の数が指数関数的に$N$であるときに、その振る舞いが急激な方法で変化するという証拠を発見した。
  論文  参考訳（メタデータ） (2023-05-12T14:19:27Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。