論文の概要: Mutual Information Constrained Chernoff Bottleneck

• arxiv url: http://arxiv.org/abs/2609.37994v1
• Date: Tue, 29 Sep 2026 16:53:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.759288
• Title: Mutual Information Constrained Chernoff Bottleneck
• Title（参考訳）: チェルノフボトルネックに拘束された相互情報
• Abstract要約: 我々は、このチャーノフ情報を最大化するエンコーダを求める、相互に制約されたチャーノフボトルネックについて検討する。 最適値 $C(R)$ は、$R = H(V)$ まで厳密に増加し、$V$ は$X$ の記号を等等比でマージする。 一般化されたブラフト-アリモトアルゴリズムと非線形方程式によるチェルノフパラメータ$s$を用いてエンコーダを更新する交互アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 10.026496861838448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The classical information bottleneck (IB) measures the relevance of a representation $U$ of $X$ to a target $Y$ by $I(U;Y)$, which does not directly characterize the error of downstream decisions. For a binary hypothesis $Y$ inferred from many separately encoded observations, the optimal error exponent is the Chernoff information between the two conditional distributions of $U$ given $Y$. We study the mutual information constrained Chernoff bottleneck, which seeks an encoder that maximizes this Chernoff information subject to a rate constraint $I(U;X) \leq R$. We show that its optimal value $C(R)$ increases strictly up to $R = H(V)$, where $V$ merges the symbols of $X$ with equal likelihood ratio, remains at the uncompressed exponent beyond, and, unlike the IB curve, need not be concave. We further show that $k+1$ outputs suffice to attain $C(R)$, where $k$ is the cardinality of $V$. We propose an alternating algorithm that updates the encoder via a generalized Blahut--Arimoto algorithm and the Chernoff parameter $s$ via a nonlinear equation, and prove that its iterates remain feasible, with nondecreasing and convergent Chernoff information. Numerical experiments confirm the theory, and on real topic-detection data from the 20 Newsgroups corpus, compressing each word to only $17\%$ of its entropy retains $90\%$ of the error exponent and nearly the accuracy of the uncompressed classifier.
• Abstract（参考訳）: 古典的な情報ボトルネック(IB)は、$U$ of $X$の表現とターゲット$Y$ by $I(U;Y)$の関連性を測定する。 独立に符号化された多くの観測から推定される二項仮説$Y$に対して、最適誤差指数は、$U$$Y$の2つの条件分布の間のチャーノフ情報である。 本稿では、このChernoff情報を最大化するためのエンコーダを、レート制約である$I(U;X) \leq R$で探索する。 我々は、その最適値$C(R)$が厳密に$R = H(V)$まで増加することを示す。 さらに、$k+1$が$C(R)$に達するのに十分であることを示す。 本稿では,一般化されたブラフト-アリモトアルゴリズムと非線形方程式によるチャーノフパラメータ$s$を用いてエンコーダを更新し,その繰り返しが非減少・収束的なチャーノフ情報とともに実現可能であることを証明した。 数値実験によりこの理論が確認され、20のニュースグループコーパスからの実トピック検出データに基づいて各単語を17 %のエントロピーに圧縮すると、90 %の誤差指数と圧縮されていない分類器の精度が保持される。

関連論文リスト

• Exact Recovery Thresholds for Weighted Data Selection in Vector-Valued Linear Regression [0.0]
  有限データセットの完全なデータ損失を回復する重み付き例の最小予算は、正確に$n*(d,m)=(m+1)d$であることを示す。 直近の未送付プリプリントで循環する誤ったクレームを補正すると、$m=2$の明示的なデータセットが示され、2d$ポイントの重み付き選択がなければ、最適損失が回復する。
  論文  参考訳（メタデータ） (2026-08-31T05:04:49Z)
• A Spectral Phase Diagram for Binary Few-Shot Classification: Intrinsic Dimensionality, Geometric Saturation, and Representational Diagnosis [0.0]
  飽和指数 $S(K) = operatornameerank(widehat_W(K)) / K$ は、プールされたクラス内サンプルの有効ランクとショットカウントとの比を測る。 インデックスはサポート機能だけで$O(d3)$ timeで計算可能で、テストラベルやトレーニングされた分類子を必要としない。
  論文  参考訳（メタデータ） (2026-06-12T16:46:24Z)
• Hardware Validation of DAGI via a Modular "Ridge" Signature and High-Order Synergistic Information [0.0]
  IBM Quantumハードウェア上でのDAGI(Directed Acyclic Graph Information)フレームワーク。 理想的な出力分布が低次元モジュラー多様体(リッジ)に制約される小さな制御された実験 キーリカバリはチャンスを超えた:ショット毎の精度0.1689(チャンス0.125,95% Wilson CI[0.1610, 0.1772]) これらの結果は、DAGIが非自明でハードウェアに耐性のある情報構造を検出し、定量化するという主張を支持する。
  論文  参考訳（メタデータ） (2026-04-16T14:16:59Z)
• Information-Computation Tradeoffs for Noiseless Linear Regression with Oblivious Contamination [65.37519531362157]
  このタスクに対する効率的な統計的クエリアルゴリズムは、VSTATの複雑さを少なくとも$tildeOmega(d1/2/alpha2)$で要求する。
  論文  参考訳（メタデータ） (2025-10-12T15:42:44Z)
• Entangled Mean Estimation in High-Dimensions [36.97113089188035]
  信号のサブセットモデルにおける高次元エンタングルド平均推定の課題について検討する。 最適誤差(polylogarithmic factor)は$f(alpha,N) + sqrtD/(alpha N)$であり、$f(alpha,N)$は1次元問題の誤差であり、第二項は準ガウス誤差率である。
  論文  参考訳（メタデータ） (2025-01-09T18:31:35Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Revisiting Step-Size Assumptions in Stochastic Approximation [1.3654846342364308]
  この仮定は、収束とより微細な結果には必要ないことが初めて示される。 標準アルゴリズムおよびPolyakとRuppertの平均化手法を用いて得られた推定値に対して収束率を求める。 数値実験の結果,乗法雑音とマルコフ記憶の組み合わせにより,$beta_theta$が大きくなる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-28T05:11:05Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Data Structures for Density Estimation [66.36971978162461]
  p$のサブリニア数($n$)が与えられた場合、主な結果は$k$のサブリニアで$v_i$を識別する最初のデータ構造になります。 また、Acharyaなどのアルゴリズムの改良版も提供します。
  論文  参考訳（メタデータ） (2023-06-20T06:13:56Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• A Law of Robustness beyond Isoperimetry [84.33752026418045]
  我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。 次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。 我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
  論文  参考訳（メタデータ） (2022-02-23T16:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。