Fugu-MT 論文翻訳(概要): What Should an Information Bottleneck Encoder Learn? Separating Representation Learning from Rate Control

論文の概要: What Should an Information Bottleneck Encoder Learn? Separating Representation Learning from Rate Control

arxiv url: http://arxiv.org/abs/2610.36255v1
Date: Mon, 26 Oct 2026 20:35:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-29 04:15:49.19829
Title: What Should an Information Bottleneck Encoder Learn? Separating Representation Learning from Rate Control
Title（参考訳）: 情報ブートネックエンコーダが学ぶべきこと : レート制御による表現学習の分離
Abstract要約: 圧縮機とデコーダのペアを1つの予算で有するCNN表現は、推定トレーニング乗算演算(MAC)を7.7倍に削減することを示す。 MNIST、SVHN、CIFAR-10、STL-10では、圧縮機とデコーダのペアが1つの予算で凍結されたCNN表現により、推定トレーニング乗算演算(MAC)が約2倍に削減される。
参考スコア（独自算出の注目度）: 1.1458853556386799
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The information bottleneck (IB) trades compression of an input $X$ against prediction of a target $Y$ through a multiplier $β=1/λ$, yet each operating point is usually served by training, or fully conditioning, a new encoder. For jointly Gaussian data, we show that the IB solution factorizes as $A(β)=D(β)W$: the information-bearing directions $W$ do not depend on $β$, and $β$ acts only through scalar gains. We ask whether this separation of \emph{representation} from \emph{rate control} survives beyond Gaussian models, treating the budget as a given operating parameter rather than a quantity to be optimized. For a budget-free representation $F(X)$, the \emph{separation gap} is controlled by the \emph{sufficiency deficit} $ε_F=I(X;Y\mid F(X))$: We show there is at least $ε_F$ in the worst case for finite inputs, and it is bounded uniformly in $λ$ by a function of $ε_F$ for finite label alphabets. The same certificate extends to a new target distribution and to pooled multi-domain data, where a conditional-alignment term appears. On MNIST, SVHN, CIFAR-10 and STL-10 (10 seeds, eight prespecified budgets), a frozen CNN representation with one compressor--decoder pair per budget reduces estimated training multiply--accumulate operations (MACs) by $7.7\times$ and wall-clock time by about $2\times$ relative to end-to-end VIBs, and attains higher budget-averaged accuracy ($65.6\%$ versus $57.3\%$ per domain; $67.1\%$ versus $57.1\%$ pooled), with the advantage concentrated at strong compression, where the VIBs collapse. At weak compression ($λ\le0.036$), VIB has higher cross-entropy and ECE; its surrogate Lagrangian is higher per domain, indistinguishable from the pooled VIB in the macro average, and lower on the pooled test set.
Abstract（参考訳）: 情報ボトルネック(IB)は、ターゲット$Y$の予測に対して入力$X$の圧縮を乗算器$β=1/λ$で処理するが、各操作ポイントは通常、トレーニングまたは完全に条件付けされた新しいエンコーダによって提供される。 A(β)=D(β)W$: 情報を持つ方向$W$は$β$に依存しず、$β$はスカラーゲインを通してのみ作用する。我々は、この「emph{representation}」と「emph{rate control}」の分離がガウスモデルを超えて存続するかどうかを尋ね、最適化すべき量ではなく、与えられた操作パラメータとして予算を扱います。予算のない表現 \(F(X)\ に対して、 \emph{separation gap} は \emph{sufficiency deficit} $ε_F=I(X;Y\mid F(X))$: 有限入力の最悪の場合、少なくとも$ε_F$が存在し、有限ラベルアルファベットに対する$ε_F$の関数によって$λ$で一様に制限されていることを示す。同じ証明書は、新しいターゲットディストリビューションや、条件付きアライメント項が現れるプールされたマルチドメインデータにまで拡張される。 MNIST, SVHN, CIFAR-10, STL-10 (10種8予算)では、圧縮機とデコーダのペアが1予算当たり1組の凍結したCNN表現により、MNIST, SVHN, CIFAR-10 と STL-10 では、MNIST, SVHN, CIFAR-10 と STL-10 のトレーニング倍増演算 (MACs) が7.7\times$ と Wall-clock の時間を約 2 倍に減らし、予算平均精度が65.6\% 対 57.3\% 対 1ドメイン当たり$ 6.7.1\% 対 5.1\% 対 5.1\% がプール化され、VIB が崩壊する強い圧縮が強かった。弱い圧縮(λ\le0.036$)では、VIBはクロスエントロピーとECEが高く、そのサロゲートラグランジアンはドメインごとに高く、マクロ平均でプールされたVIBと区別できない。

論文の概要: What Should an Information Bottleneck Encoder Learn? Separating Representation Learning from Rate Control

関連論文リスト