論文の概要: Mutual information and task-relevant latent dimensionality

• arxiv url: http://arxiv.org/abs/2602.08105v1
• Date: Sun, 08 Feb 2026 19:58:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.983694
• Title: Mutual information and task-relevant latent dimensionality
• Title（参考訳）: 相互情報とタスク関連潜在次元
• Authors: Paarth Gulati, Eslam Abdelaleem, Audrey Sederberg, Ilya Nemenman,
• Abstract要約: 予測に必要な潜在表現の次元を推定することは困難であり、ほとんど解決されていない問題である。 分離・双線形批判を持つ標準神経推定器は, 推定次元を体系的にインフレーションすることを示した。 1つのデータセットのペアビューを構築することにより、本質的な次元性へのアプローチを拡張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating the dimensionality of the latent representation needed for prediction -- the task-relevant dimension -- is a difficult, largely unsolved problem with broad scientific applications. We cast it as an Information Bottleneck question: what embedding bottleneck dimension is sufficient to compress predictor and predicted views while preserving their mutual information (MI). This repurposes neural MI estimators for dimensionality estimation. We show that standard neural estimators with separable/bilinear critics systematically inflate the inferred dimension, and we address this by introducing a hybrid critic that retains an explicit dimensional bottleneck while allowing flexible nonlinear cross-view interactions, thereby preserving the latent geometry. We further propose a one-shot protocol that reads off the effective dimension from a single over-parameterized hybrid model, without sweeping over bottleneck sizes. We validate the approach on synthetic problems with known task-relevant dimension. We extend the approach to intrinsic dimensionality by constructing paired views of a single dataset, enabling comparison with classical geometric dimension estimators. In noisy regimes where those estimators degrade, our approach remains reliable. Finally, we demonstrate the utility of the method on multiple physics datasets.
• Abstract（参考訳）: 予測に必要な潜在表現(タスク関連次元)の次元を推定することは、幅広い科学的応用において困難であり、ほとんど解決されていない問題である。 そこで我々は,これをインフォメーション・ボトルネック(Information Bottleneck)の質問として,相互情報(MI)を保ちながら,予測器と予測ビューを圧縮するのに十分なボトルネック次元の埋め込みを論じる。 これは次元推定のためのニューラルMI推定器を再利用する。 分離・双線形批判を持つ標準的なニューラル推定器は、推定次元を体系的にインフレーションし、フレキシブルな非線形クロスビュー相互作用を許容しながら、明示的な次元のボトルネックを保ち、潜在幾何学を保存するハイブリッド批評家を導入することにより、この問題に対処する。 さらに、ボトルネックサイズを網羅することなく、1つのオーバーパラメータ化ハイブリッドモデルから有効次元を読み取るワンショットプロトコルを提案する。 タスク関連次元の既知の合成問題に対するアプローチを検証する。 単一データセットのペアビューを構築することにより,本質的な次元性へのアプローチを拡張し,古典的幾何学的次元推定器との比較を可能にする。 これらの推定器が劣化するノイズの多い体制では、我々のアプローチは信頼性が保たれている。 最後に,本手法の有効性を複数の物理データセットで示す。

関連論文リスト

• Estimating Dataset Dimension via Singular Metrics under the Manifold Hypothesis: Application to Inverse Problems [0.6138671548064356]
  多様体の内在次元を推定し、適切な局所座標を構築し、周囲空間と多様体空間の間の写像を学習する3つの重要な課題に対処する枠組みを提案する。 本稿では,VAEデコーダのプルバック値の数値ランクを解析することにより,データセットのIDを推定することに集中する。 推定IDは、可逆なVAEの混合を用いた局所チャートのアトラスの構築をガイドし、正確な多様体パラメータ化と効率的な推論を可能にする。
  論文  参考訳（メタデータ） (2025-07-09T21:22:59Z)
• Finsler Multi-Dimensional Scaling: Manifold Learning for Asymmetric Dimensionality Reduction and Embedding [41.601022263772535]
  次元化の削減は、データ分析や可視化における中心的な応用とともに、重要なパターンを保ちながら、特徴的次元を減らし、複雑なデータを単純化することを目的としている。 基礎となるデータ構造を維持するため、多次元スケーリング(MDS)法は距離などの対等な相似性を保存することに重点を置いている。
  論文  参考訳（メタデータ） (2025-03-23T10:03:22Z)
• A Novel Approach for Intrinsic Dimension Estimation [0.0]
  実生活データは、その性質から複雑で非線形な構造を持つ。 低次元空間におけるデータセットのほぼ最適な表現を見つけることは、機械学習タスクの成功を改善するための適切なメカニズムを提供する。 本研究では,高効率で頑健な内在次元推定手法を提案する。
  論文  参考訳（メタデータ） (2025-03-12T15:42:39Z)
• A dimensionality reduction technique based on the Gromov-Wasserstein distance [7.8772082926712415]
  本稿では, 最適輸送理論とGromov-Wasserstein距離に基づく次元減少法を提案する。 提案手法は,高次元データを低次元空間に埋め込み,複雑な高次元データセットを解析するための堅牢で効率的な解を提供する。
  論文  参考訳（メタデータ） (2025-01-23T15:05:51Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
  3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。 双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。 本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
  論文  参考訳（メタデータ） (2021-07-29T16:30:33Z)
• Intrinsic Dimension Estimation [92.87600241234344]
  内在次元の新しい推定器を導入し, 有限標本, 非漸近保証を提供する。 次に、本手法を適用して、データ固有の次元に依存するGAN(Generative Adversarial Networks)に対する新しいサンプル複雑性境界を求める。
  論文  参考訳（メタデータ） (2021-06-08T00:05:39Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。