論文の概要: A Sufficient-Statistic Reduction of the Information Bottleneck to a Low-Dimensional Problem

• arxiv url: http://arxiv.org/abs/2604.26744v1
• Date: Wed, 29 Apr 2026 14:40:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.445188
• Title: A Sufficient-Statistic Reduction of the Information Bottleneck to a Low-Dimensional Problem
• Title（参考訳）: 低次元問題に対する情報ボトルネックの十分統計量削減
• Authors: Joss Armstrong,
• Abstract要約: 条件分布 p(C | T) が十分統計量 (T) を通るとき、(T, C) のインフォメーション・ボトルネック (IB) 問題は、(T, C) の IB 問題と全く同じであることを示す。 削減は損失のないものであり、完全なIB曲線、すべてのトレードオフパラメータベータにおけるラグランジアン最適化、そして .NET へのプルバックまでの最適表現を保存している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that if the conditional distribution p(C | T) factors through a sufficient statistic φ(T), then the Information Bottleneck (IB) problem for (T, C) is exactly equivalent to the IB problem for (φ(T), C). The reduction is loss-free: it preserves the full IB curve, the Lagrangian optimum at every trade-off parameter \b{eta}, and the optimal representations up to pullback through φ. As a result, the computational complexity of solving the IB problem is governed by the dimension of the sufficient statistic rather than the ambient dimension of the source. This identifies an exact structural condition under which the generic IB problem becomes tractable, and gives a formal bridge between the discrete and linear-Gaussian regimes. We then show that the classical Gaussian IB solution of Chechik, Globerson, Tishby and Weiss is an immediate corollary of this reduction, and we state a nonlinear-Gaussian generalisation. A small numerical example illustrates the practical consequence: when a low-dimensional sufficient statistic is available, the exact IB curve can be computed on the reduced problem at a cost determined by the statistic rather than by the ambient source dimension.
• Abstract（参考訳）: 条件分布 p(C | T) が十分統計量 φ(T) を通るとき、(T, C) のインフォメーション・ボトルネック (IB) 問題は、(φ(T, C) の IB 問題と全く同じであることを示す。 削減は損失のないものであり、完全なIB曲線、すべてのトレードオフパラメータ \b{eta} におけるラグランジアン最適化、φ へのプルバックまでの最適表現を保存している。 その結果、IB問題を解く計算複雑性は、情報源の周囲次元ではなく、十分な統計量の次元によって支配される。 このことは、一般のIB問題が引き起こされる正確な構造条件を特定し、離散型と線型ガウス型の間に形式的な橋渡しを与える。 次に、チェチック、グロバーソン、ティシュビー、ワイスの古典的なガウス IB 解がこの還元の直近の系であり、非線形ガウス一般化を述べる。 小さい数値的な例は、低次元の十分な統計値が得られれば、正確なIB曲線を、周囲の情報源次元よりも統計値によって決定されるコストで、削減された問題上で計算することができる。

関連論文リスト

• Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
  基本的で長期にわたる課題は、その効率的な近似である。 一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。 本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
  論文  参考訳（メタデータ） (2026-04-09T16:38:14Z)
• GeoIB: Geometry-Aware Information Bottleneck via Statistical-Manifold Compression [29.11439332064202]
  Information Bottleneck (IB) は広く使われているが、ディープラーニングでは、通常はトラクタブルサロゲートによって実装される。 相互情報(MI)推定を不要とするtextbfGeometric textbfInformation textbfBottleneck (textbfGeoIB)を提案する。
  論文  参考訳（メタデータ） (2026-02-03T14:07:29Z)
• Leveraging Flatness to Improve Information-Theoretic Generalization Bounds for SGD [64.08556301183664]
  情報理論(IT)一般化境界は学習アルゴリズムの一般化の研究に用いられている。 本稿では, 平坦度の高いSGDに対して, より平坦度の高いITを導出する。
  論文  参考訳（メタデータ） (2026-01-04T10:17:50Z)
• Distributionally Robust Optimization via Iterative Algorithms in Continuous Probability Spaces [6.992239210938067]
  最短ケースの分布が連続している場合、分布的ロバストな最適化(DRO)によって動機付けられたミニマックス問題を考える。 最近の研究では、ニューラルネットワークに基づく生成ネットワークを用いた最悪のケース分布の学習について検討されている。 本稿では,そのようなミニマックス問題を解くための反復アルゴリズムを提案することによって,この理論的課題を橋渡しする。
  論文  参考訳（メタデータ） (2024-12-29T19:31:23Z)
• The Information Bottleneck's Ordinary Differential Equation: First-Order Root-Tracking for the IB [0.0]
  Information Bottleneck (IB) は、関連する情報の失われた圧縮方法である。 IBの最適トレードオフ曲線の基盤となるダイナミクスを利用する。 IB分岐の理解を驚くほど正確な数値アルゴリズムに変換する。
  論文  参考訳（メタデータ） (2023-06-16T12:02:19Z)
• Information Theoretical Importance Sampling Clustering [18.248246885248733]
  多くのクラスタリング手法の現在の仮定は、トレーニングデータと将来のデータが同じ分布から取られるというものである。 我々は,クラスタリング問題(itisC)に対する情報理論的重要度サンプリングに基づくアプローチを提案する。 合成データセットの実験結果と実世界の負荷予測問題により,提案モデルの有効性が検証された。
  論文  参考訳（メタデータ） (2023-02-09T03:18:53Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• The Schr\"odinger Bridge between Gaussian Measures has a Closed Form [101.79851806388699]
  我々は OT の動的定式化(Schr"odinger bridge (SB) 問題)に焦点を当てる。 本稿では,ガウス測度間のSBに対する閉形式表現について述べる。
  論文  参考訳（メタデータ） (2022-02-11T15:59:01Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。