論文の概要: On the Cardinality of Optimal Representations in the Binary-Source Information Bottleneck

• arxiv url: http://arxiv.org/abs/2610.06627v1
• Date: Mon, 05 Oct 2026 16:23:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 00:04:54.704617
• Title: On the Cardinality of Optimal Representations in the Binary-Source Information Bottleneck
• Title（参考訳）: バイナリソース・インフォメーション・ボトルネックにおける最適表現の心臓性について
• Abstract要約: 情報ボトルネック(IB)は、ターゲットの$Y$に関する情報を保持するソースの$X$の表現を求める。 古典的な議論は、少なくとも$|mathcalX|+1$の記号で表現を考えるのに十分であることを示している。 X$ がバイナリで$Y$ が有限であれば、$(X,Y)$ のすべての合同分布とすべてのレート制約に対して、IB最適値はバイナリ $U$ で達成される。
• 参考スコア（独自算出の注目度）: 6.362676503567886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The information bottleneck (IB) seeks a representation $U$ of a source $X$ that retains as much information as possible about a target $Y$, subject to a constraint on $I(U;X)$. A classical argument shows that it suffices to consider representations with at most $|\mathcal{X}|+1$ symbols, and this bound is known to be tight whenever $|\mathcal{X}| \geq 3$. We show that the binary case behaves differently: if $X$ is binary and $Y$ is finite, then for every joint distribution of $(X,Y)$ and every rate constraint, the IB optimum is attained by a binary $U$. Hence the bound $|\mathcal{U}| \leq |\mathcal{X}|+1$ sharpens to $|\mathcal{U}| \leq |\mathcal{X}|$ for binary sources. The proof combines a separating hyperplane argument with the observation that, for a binary source, the ratio of the second derivatives of the two entropy functions involved is concave.
• Abstract（参考訳）: 情報ボトルネック(IB)は、ターゲットの$Y$について可能な限り多くの情報を保持するソース$X$の表現を求め、$I(U;X)$の制約を受ける。 古典的な議論は、少なくとも$|\mathcal{X}|+1$の記号で表現を考えるのが十分であることを示し、この境界は$|\mathcal{X}| \geq 3$のときは常にきついことが知られている。 X$ がバイナリで$Y$ が有限であれば、$(X,Y)$ のすべての合同分布とすべてのレート制約に対して、IB最適値はバイナリ $U$ で達成される。 したがって、有界な $|\mathcal{U}| \leq |\mathcal{X}|+1$ は二進元に対して $|\mathcal{U}| \leq |\mathcal{X}|$ となる。 この証明は、分離された超平面の議論と、二元元に対して、2つのエントロピー函数の第二微分の比が凹凸であるという観察を組み合わせている。

関連論文リスト

• Rényi exponent landscape of multipartite entanglement in free-fermion systems [51.56484100374058]
  我々は、Rényi tripartite information $I_3() が小フェルミ運動量での質的に $exclusion-dependent scaling を示すことを示した。 I_m(n)/I_m(1) sim zm-1 to 0$ for all integer $n geq 2$, so the leading von Neumann signal can builded from integer Rényi data。
  論文  参考訳（メタデータ） (2026-03-09T22:27:00Z)
• Information-Computation Tradeoffs for Noiseless Linear Regression with Oblivious Contamination [65.37519531362157]
  このタスクに対する効率的な統計的クエリアルゴリズムは、VSTATの複雑さを少なくとも$tildeOmega(d1/2/alpha2)$で要求する。
  論文  参考訳（メタデータ） (2025-10-12T15:42:44Z)
• Characterizing the Distinguishability of Product Distributions through Multicalibration [12.235546895477668]
  我々は、$X_0otimes k$と$X_1otimes k$を効率的に区別するために必要となるサンプル数$k$の新しい厳密な特徴を証明した。 私たちのフレームワークは、Halevi と Rabin (TCC 2008) と Geier (TCC 2022) の結果を導出するのに使用できます。
  論文  参考訳（メタデータ） (2024-12-04T18:56:19Z)
• The Communication Complexity of Approximating Matrix Rank [50.6867896228563]
  この問題は通信複雑性のランダム化を$Omega(frac1kcdot n2log|mathbbF|)$とする。 アプリケーションとして、$k$パスを持つ任意のストリーミングアルゴリズムに対して、$Omega(frac1kcdot n2log|mathbbF|)$スペースローバウンドを得る。
  論文  参考訳（メタデータ） (2024-10-26T06:21:42Z)
• Low-degree learning and the metric entropy of polynomials [44.99833362998488]
  少なくとも$Omega(sqrtvarepsilon)2dlog n leq log mathsfM(mathscrF_n,d,|cdot|_L,varepsilon)は2辺の推定値$c(1-varepsilon)2dlogを満たす。
  論文  参考訳（メタデータ） (2022-03-17T23:52:08Z)
• Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and ReLUs under Gaussian Marginals [49.60752558064027]
  ガウス境界の下では、半空間とReLUを不可知的に学習する基本的な問題について検討する。 我々の下限は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。
  論文  参考訳（メタデータ） (2020-06-29T17:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。