論文の概要: Variational Geometric Information Bottleneck: Learning the Shape of Understanding
- arxiv url: http://arxiv.org/abs/2511.02496v1
- Date: Tue, 04 Nov 2025 11:33:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 18:47:05.975043
- Title: Variational Geometric Information Bottleneck: Learning the Shape of Understanding
- Title（参考訳）: 変分幾何学情報ボトルネック:理解の形状を学習する
- Authors: Ronald Katende,
- Abstract要約: variational Geometric Information Bottleneck (V-GIB) は、相互情報圧縮と曲率正規化を統合する変分推定器である。
V-GIBは、幾何学的に一貫性があり、データ効率が高く、人間の理解可能な構造と整合した表現への原則的かつ測定可能な経路を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a unified information-geometric framework that formalizes understanding in learning as a trade-off between informativeness and geometric simplicity. An encoder phi is evaluated by U(phi) = I(phi(X); Y) - beta * C(phi), where C(phi) penalizes curvature and intrinsic dimensionality, enforcing smooth, low-complexity manifolds. Under mild manifold and regularity assumptions, we derive non-asymptotic bounds showing that generalization error scales with intrinsic dimension while curvature controls approximation stability, directly linking geometry to sample efficiency. To operationalize this theory, we introduce the Variational Geometric Information Bottleneck (V-GIB), a variational estimator that unifies mutual-information compression and curvature regularization through tractable geometric proxies such as the Hutchinson trace, Jacobian norms, and local PCA. Experiments across synthetic manifolds, few-shot settings, and real-world datasets (Fashion-MNIST, CIFAR-10) reveal a robust information-geometry Pareto frontier, stable estimators, and substantial gains in interpretive efficiency. Fractional-data experiments on CIFAR-10 confirm that curvature-aware encoders maintain predictive power under data scarcity, validating the predicted efficiency-curvature law. Overall, V-GIB provides a principled and measurable route to representations that are geometrically coherent, data-efficient, and aligned with human-understandable structure.
- Abstract（参考訳）: 本稿では,情報性と幾何学的単純性の間のトレードオフとして,学習における理解を形式化する統合情報幾何学的枠組みを提案する。
エンコーダ phi は U(phi) = I(phi(X); Y) - β * C(phi) で評価され、C(phi) は曲率と内在次元をペナリゼーションし、滑らかで低複素多様体を強制する。
穏やかな多様体と正則性仮定の下では、一般化誤差が内在次元でスケールし、曲率が近似安定性を制御し、幾何学とサンプル効率を直接リンクすることを示す非漸近境界を導出する。
この理論を運用するために,HutchinsonトレースやJacobianノルム,局所PCAなどの抽出可能な幾何学的プロキシを通じて相互情報圧縮と曲率正規化を統一する変分推定器である,変分幾何情報ボトルネック(V-GIB)を導入する。
合成多様体、少数ショット設定、実世界のデータセット(Fashion-MNIST、CIFAR-10)にわたる実験では、堅牢な情報幾何学的パレートフロンティア、安定な推定器、解釈効率の大幅な向上が示されている。
CIFAR-10におけるフラクショナルデータ実験により、曲率を意識したエンコーダがデータ不足下で予測力を保ち、予測効率・曲率法則を検証することが確認された。
全体として、V-GIBは、幾何学的に一貫性があり、データ効率が高く、人間の理解可能な構造に整合した表現への原則的で測定可能な経路を提供する。
関連論文リスト
- Understanding and Improving UMAP with Geometric and Topological Priors: The JORC-UMAP Algorithm [1.7484982792736636]
次元削減技術、特に UMAP は高次元データの可視化に広く用いられている。
我々は幾何学的先行としてOllivier-Ricci曲率を導入し、幾何学的ボトルネックにおけるエッジを強化し、冗長リンクを減らす。
合成および実世界のデータセットの実験により、JORC-UMAPは標準的なUMAPや他のDR法よりも破断と崩壊を効果的に削減することが示された。
論文 参考訳（メタデータ） (2026-01-23T08:42:56Z) - Causal Manifold Fairness: Enforcing Geometric Invariance in Representation Learning [0.0]
本稿では,因果推論と幾何学的深層学習を橋渡しする新しいフレームワークであるCausal Manifold Fairness(CMF)を紹介する。
デコーダのヤコビアンとヘシアンに制約を課すことにより、CMFは潜在空間の規則が階層群全体にわたって保持されることを保証する。
CMFを合成構造因果モデル (SCMs) で検証し, タスクユーティリティを保ちながら, 敏感な幾何学的歪みを効果的に解消することを示した。
論文 参考訳（メタデータ） (2026-01-06T14:05:22Z) - An approach to Fisher-Rao metric for infinite dimensional non-parametric information geometry [0.6138671548064355]
無限次元であることから、非パラメトリックな情報幾何学は長い間「難易度障壁」に直面してきた。
本稿では,タンジェント空間の直交分解による難易度解決のための新しい枠組みを提案する。
情報キャプチャ比を定義することにより,高次元データの内在次元を推定する厳密な手法を提案する。
論文 参考訳（メタデータ） (2025-12-25T00:18:41Z) - CP$^2$: Leveraging Geometry for Conformal Prediction via Canonicalization [51.716834831684004]
幾何データシフトにおける共形予測(CP)の問題について検討する。
本稿では,幾何的ポーズなどの幾何学的情報を統合することを提案する。
論文 参考訳（メタデータ） (2025-06-19T10:12:02Z) - Follow the Energy, Find the Path: Riemannian Metrics from Energy-Based Models [63.331590876872944]
本稿では,事前学習したエネルギーベースモデルから直接リーマン計量を導出する手法を提案する。
これらの測度は空間的に異なる距離を定義し、測地学の計算を可能にする。
EBM由来のメトリクスは、確立されたベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2025-05-23T12:18:08Z) - What's Inside Your Diffusion Model? A Score-Based Riemannian Metric to Explore the Data Manifold [0.053713376045563095]
スコアに基づくリーマン計量を導入し、データ多様体の内在幾何学を特徴づける。
我々のアプローチは、測地学が自然に多様体の輪郭に従う幾何学を生成する。
我々のスコアに基づく測地学は、基礎となるデータ分布を尊重する有意義な垂直変換を捉えていることを示す。
論文 参考訳（メタデータ） (2025-05-16T11:19:57Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳（メタデータ） (2023-09-07T16:55:50Z) - SIGMA: Scale-Invariant Global Sparse Shape Matching [50.385414715675076]
非剛体形状の正確なスパース対応を生成するための新しい混合整数プログラミング(MIP)法を提案する。
いくつかの挑戦的な3Dデータセットに対して,スパースな非剛性マッチングの最先端結果を示す。
論文 参考訳（メタデータ） (2023-08-16T14:25:30Z) - CAMEL: Curvature-Augmented Manifold Embedding and Learning [21.945022912830044]
高次元データ分類,次元縮小,可視化のために,CAMEL ( Curvature-Augmented Manifold Embedding and Learning) を提案する。
CAMELは様々なベンチマークデータセットで評価され、最先端の手法よりも優れていることが示されている。
論文 参考訳（メタデータ） (2023-03-05T03:12:50Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳（メタデータ） (2021-01-15T11:39:09Z) - Manifold Learning via Manifold Deflation [105.7418091051558]
次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。
多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。
本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。
実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
論文 参考訳（メタデータ） (2020-07-07T10:04:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。