論文の概要: Variational Geometric Information Bottleneck: Learning the Shape of Understanding

• arxiv url: http://arxiv.org/abs/2511.02496v1
• Date: Tue, 04 Nov 2025 11:33:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.975043
• Title: Variational Geometric Information Bottleneck: Learning the Shape of Understanding
• Title（参考訳）: 変分幾何学情報ボトルネック:理解の形状を学習する
• Authors: Ronald Katende,
• Abstract要約: variational Geometric Information Bottleneck (V-GIB) は、相互情報圧縮と曲率正規化を統合する変分推定器である。 V-GIBは、幾何学的に一貫性があり、データ効率が高く、人間の理解可能な構造と整合した表現への原則的かつ測定可能な経路を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a unified information-geometric framework that formalizes understanding in learning as a trade-off between informativeness and geometric simplicity. An encoder phi is evaluated by U(phi) = I(phi(X); Y) - beta * C(phi), where C(phi) penalizes curvature and intrinsic dimensionality, enforcing smooth, low-complexity manifolds. Under mild manifold and regularity assumptions, we derive non-asymptotic bounds showing that generalization error scales with intrinsic dimension while curvature controls approximation stability, directly linking geometry to sample efficiency. To operationalize this theory, we introduce the Variational Geometric Information Bottleneck (V-GIB), a variational estimator that unifies mutual-information compression and curvature regularization through tractable geometric proxies such as the Hutchinson trace, Jacobian norms, and local PCA. Experiments across synthetic manifolds, few-shot settings, and real-world datasets (Fashion-MNIST, CIFAR-10) reveal a robust information-geometry Pareto frontier, stable estimators, and substantial gains in interpretive efficiency. Fractional-data experiments on CIFAR-10 confirm that curvature-aware encoders maintain predictive power under data scarcity, validating the predicted efficiency-curvature law. Overall, V-GIB provides a principled and measurable route to representations that are geometrically coherent, data-efficient, and aligned with human-understandable structure.
• Abstract（参考訳）: 本稿では,情報性と幾何学的単純性の間のトレードオフとして,学習における理解を形式化する統合情報幾何学的枠組みを提案する。 エンコーダ phi は U(phi) = I(phi(X); Y) - β * C(phi) で評価され、C(phi) は曲率と内在次元をペナリゼーションし、滑らかで低複素多様体を強制する。 穏やかな多様体と正則性仮定の下では、一般化誤差が内在次元でスケールし、曲率が近似安定性を制御し、幾何学とサンプル効率を直接リンクすることを示す非漸近境界を導出する。 この理論を運用するために,HutchinsonトレースやJacobianノルム,局所PCAなどの抽出可能な幾何学的プロキシを通じて相互情報圧縮と曲率正規化を統一する変分推定器である,変分幾何情報ボトルネック(V-GIB)を導入する。 合成多様体、少数ショット設定、実世界のデータセット(Fashion-MNIST、CIFAR-10)にわたる実験では、堅牢な情報幾何学的パレートフロンティア、安定な推定器、解釈効率の大幅な向上が示されている。 CIFAR-10におけるフラクショナルデータ実験により、曲率を意識したエンコーダがデータ不足下で予測力を保ち、予測効率・曲率法則を検証することが確認された。 全体として、V-GIBは、幾何学的に一貫性があり、データ効率が高く、人間の理解可能な構造に整合した表現への原則的で測定可能な経路を提供する。

関連論文リスト

• CP$^2$: Leveraging Geometry for Conformal Prediction via Canonicalization [51.716834831684004]
  幾何データシフトにおける共形予測(CP)の問題について検討する。 本稿では,幾何的ポーズなどの幾何学的情報を統合することを提案する。
  論文  参考訳（メタデータ） (2025-06-19T10:12:02Z)
• What's Inside Your Diffusion Model? A Score-Based Riemannian Metric to Explore the Data Manifold [0.053713376045563095]
  スコアに基づくリーマン計量を導入し、データ多様体の内在幾何学を特徴づける。 我々のアプローチは、測地学が自然に多様体の輪郭に従う幾何学を生成する。 我々のスコアに基づく測地学は、基礎となるデータ分布を尊重する有意義な垂直変換を捉えていることを示す。
  論文  参考訳（メタデータ） (2025-05-16T11:19:57Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• SIGMA: Scale-Invariant Global Sparse Shape Matching [50.385414715675076]
  非剛体形状の正確なスパース対応を生成するための新しい混合整数プログラミング(MIP)法を提案する。 いくつかの挑戦的な3Dデータセットに対して,スパースな非剛性マッチングの最先端結果を示す。
  論文  参考訳（メタデータ） (2023-08-16T14:25:30Z)
• CAMEL: Curvature-Augmented Manifold Embedding and Learning [21.945022912830044]
  高次元データ分類,次元縮小,可視化のために,CAMEL ( Curvature-Augmented Manifold Embedding and Learning) を提案する。 CAMELは様々なベンチマークデータセットで評価され、最先端の手法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2023-03-05T03:12:50Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Manifold Learning via Manifold Deflation [105.7418091051558]
  次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。 多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。 本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。 実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
  論文  参考訳（メタデータ） (2020-07-07T10:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。