論文の概要: GeoIB: Geometry-Aware Information Bottleneck via Statistical-Manifold Compression
- arxiv url: http://arxiv.org/abs/2602.03906v1
- Date: Tue, 03 Feb 2026 14:07:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-05 19:45:11.216632
- Title: GeoIB: Geometry-Aware Information Bottleneck via Statistical-Manifold Compression
- Title（参考訳）: GeoIB: 統計的マニフォールド圧縮による幾何認識情報ボトルネック
- Authors: Weiqi Wang, Zhiyi Tian, Chenhan Zhang, Shui Yu,
- Abstract要約: Information Bottleneck (IB) は広く使われているが、ディープラーニングでは、通常はトラクタブルサロゲートによって実装される。
相互情報(MI)推定を不要とするtextbfGeometric textbfInformation textbfBottleneck (textbfGeoIB)を提案する。
- 参考スコア（独自算出の注目度）: 29.11439332064202
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Information Bottleneck (IB) is widely used, but in deep learning, it is usually implemented through tractable surrogates, such as variational bounds or neural mutual information (MI) estimators, rather than directly controlling the MI I(X;Z) itself. The looseness and estimator-dependent bias can make IB "compression" only indirectly controlled and optimization fragile. We revisit the IB problem through the lens of information geometry and propose a \textbf{Geo}metric \textbf{I}nformation \textbf{B}ottleneck (\textbf{GeoIB}) that dispenses with mutual information (MI) estimation. We show that I(X;Z) and I(Z;Y) admit exact projection forms as minimal Kullback-Leibler (KL) distances from the joint distributions to their respective independence manifolds. Guided by this view, GeoIB controls information compression with two complementary terms: (i) a distribution-level Fisher-Rao (FR) discrepancy, which matches KL to second order and is reparameterization-invariant; and (ii) a geometry-level Jacobian-Frobenius (JF) term that provides a local capacity-type upper bound on I(Z;X) by penalizing pullback volume expansion of the encoder. We further derive a natural-gradient optimizer consistent with the FR metric and prove that the standard additive natural-gradient step is first-order equivalent to the geodesic update. We conducted extensive experiments and observed that the GeoIB achieves a better trade-off between prediction accuracy and compression ratio in the information plane than the mainstream IB baselines on popular datasets. GeoIB improves invariance and optimization stability by unifying distributional and geometric regularization under a single bottleneck multiplier. The source code of GeoIB is released at "https://anonymous.4open.science/r/G-IB-0569".
- Abstract（参考訳）: Information Bottleneck (IB) は広く使われているが、ディープラーニングでは、MI I(X;Z) 自体を直接制御するのではなく、変分境界やニューラル・相互情報(MI)推定器などのトラクタブル・サロゲートによって実装される。
ゆるさと推定器依存バイアスにより、IBは間接的に制御され、最適化が脆弱である。
我々は情報幾何学のレンズを通してIB問題を再検討し、相互情報(MI)推定を不要とした \textbf{Geo}metric \textbf{I}nformation \textbf{B}ottleneck (\textbf{GeoIB})を提案する。
我々は、I(X;Z) と I(Z;Y) が完全射影形式を、結合分布からそれぞれの独立多様体への最小のKL(Kullback-Leibler)距離として認めることを示す。
この視点で導かれたGeoIBは、情報圧縮を2つの補完用語で制御する。
(i)KLを二階に整合し、再パラメータ化不変である分布レベルのフィッシャー・ラオ(FR)差分
(ii) エンコーダのプルバック体積展開をペナル化することにより、I(Z;X) 上の局所容量型上限を与える幾何学レベルのヤコビアン・フロベニウス (JF) 項。
さらに、FR計量と整合した自然勾配最適化器を導出し、標準加法的自然勾配ステップが測地線更新と同値であることを証明する。
我々は大規模な実験を行い、GeoIBは一般的なデータセット上のメインストリームのIBベースラインよりも、情報平面の予測精度と圧縮比のトレードオフが優れていることを示した。
GeoIBは、分散正規化と幾何正規化を単一ボトルネック乗算器の下で統一することにより、不変性と最適化の安定性を改善する。
GeoIB のソースコードは "https://anonymous.4open.science/r/G-IB-0569" で公開されている。
関連論文リスト
- Mixture-of-Experts as Soft Clustering: A Dual Jacobian-PCA Spectral Geometry Perspective [0.5414847001704249]
Mixture-of-Experts (MoE)アーキテクチャは、一般的に効率性と条件計算によって動機付けられている。
幾何レンズを用いてMoEを解析し、表現空間のソフトパーティショニングの形でルーティングを解釈し、重なり合う局所チャートに変換する。
論文 参考訳（メタデータ） (2026-01-09T23:07:14Z) - Optimal Transportation and Alignment Between Gaussian Measures [80.4634530260329]
最適なトランスポート(OT)とGromov-Wasserstein(GW)アライメントは、データセットの解釈可能な幾何学的フレームワークを提供する。
これらのフレームワークは計算コストが高いため、大規模アプリケーションは2次コストでガウス分布の閉形式解に依存することが多い。
この研究は、ガウス的、二次的コスト OT と内部積 GW (IGW) のアライメントを包括的に扱い、文学におけるいくつかのギャップを埋めて適用性を広げる。
論文 参考訳（メタデータ） (2025-12-03T09:01:48Z) - Variational Geometric Information Bottleneck: Learning the Shape of Understanding [0.0]
variational Geometric Information Bottleneck (V-GIB) は、相互情報圧縮と曲率正規化を統合する変分推定器である。
V-GIBは、幾何学的に一貫性があり、データ効率が高く、人間の理解可能な構造と整合した表現への原則的かつ測定可能な経路を提供する。
論文 参考訳（メタデータ） (2025-11-04T11:33:54Z) - Bridging Geometric States via Geometric Diffusion Bridge [79.60212414973002]
本稿では,初期および対象の幾何状態を正確にブリッジする新しい生成モデリングフレームワークであるGeometric Diffusion Bridge (GDB)を紹介する。
GDBは、幾何学的状態の接続のためにDoobの$h$-transformの修正版から派生した同変拡散ブリッジを使用している。
我々はGDBが既存の最先端のアプローチを超越し、幾何学的状態を正確にブリッジするための新しい経路を開くことを示す。
論文 参考訳（メタデータ） (2024-10-31T17:59:53Z) - Cauchy-Schwarz Divergence Information Bottleneck for Regression [27.768887283866643]
情報ボトルネック(IB)アプローチは、ディープニューラルネットワークの一般化、堅牢性、説明可能性を改善するために人気がある。
我々は、コーシー=シュワルツ分岐の好ましい性質を利用して、深いニューラルネットワークでIBをパラメータ化する新しい方法を開発した。
我々は6つの実世界の回帰タスクにおいて、他の人気のある深いIBアプローチよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-27T16:13:05Z) - Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。
GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
論文 参考訳（メタデータ） (2022-08-25T12:33:31Z) - DepthFormer: Exploiting Long-Range Correlation and Local Information for
Accurate Monocular Depth Estimation [50.08080424613603]
高精度な単分子深度推定には長距離相関が不可欠である。
我々は,このグローバルコンテキストを効果的な注意機構でモデル化するためにTransformerを活用することを提案する。
提案したモデルであるDepthFormerは、最先端のモノクル深度推定手法をはるかに超えている。
論文 参考訳（メタデータ） (2022-03-27T05:03:56Z) - BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。
近年の進歩により、観測データからDAGの有効最大点推定が可能となった。
線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
論文 参考訳（メタデータ） (2021-12-06T03:35:21Z) - Learning Domain-invariant Graph for Adaptive Semi-supervised Domain
Adaptation with Few Labeled Source Samples [65.55521019202557]
ドメイン適応は、ソースドメインからモデルを一般化して、関連するが異なるターゲットドメインのタスクに取り組むことを目的としています。
従来のドメイン適応アルゴリズムは、事前知識として扱われる十分なラベル付きデータがソースドメインで利用できると仮定する。
少数のラベル付きソースサンプルを用いたドメイン適応のためのドメイン不変グラフ学習(DGL)手法を提案する。
論文 参考訳（メタデータ） (2020-08-21T08:13:25Z) - Normal-bundle Bootstrap [2.741266294612776]
本稿では,与えられたデータセットの幾何学的構造を保持する新しいデータを生成する手法を提案する。
微分幾何学における多様体学習と概念のアルゴリズムにインスパイアされた本手法は,基礎となる確率測度を余分化測度に分解する。
本手法は, 密度リッジおよび関連統計量の推定に応用し, オーバーフィッティングを低減するためにデータ拡張を行う。
論文 参考訳（メタデータ） (2020-07-27T21:14:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。