論文の概要: Information Theoretic Perspective on Representation Learning
- arxiv url: http://arxiv.org/abs/2601.11334v1
- Date: Fri, 16 Jan 2026 14:30:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-19 20:21:50.524184
- Title: Information Theoretic Perspective on Representation Learning
- Title（参考訳）: 表現学習における情報理論の視点
- Authors: Deborah Pereg,
- Abstract要約: 回帰タスクの学習表現に焦点をあて、最終層埋め込みを分析するための情報理論フレームワークが導入された。
入力源エントロピーによって本質的に決定されるように、入力出力情報を表現できる信頼性の表現率と導出限界を定義する。
達成可能な能力、達成可能な表現率、およびそれらの逆を導出する。
- 参考スコア（独自算出の注目度）: 5.076419064097734
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: An information-theoretic framework is introduced to analyze last-layer embedding, focusing on learned representations for regression tasks. We define representation-rate and derive limits on the reliability with which input-output information can be represented as is inherently determined by the input-source entropy. We further define representation capacity in a perturbed setting, and representation rate-distortion for a compressed output. We derive the achievable capacity, the achievable representation-rate, and their converse. Finally, we combine the results in a unified setting.
- Abstract（参考訳）: 回帰タスクの学習表現に焦点をあて、最終層埋め込みを分析するための情報理論フレームワークが導入された。
入力源エントロピーによって本質的に決定されるように、入力出力情報を表現できる信頼性の表現率と導出限界を定義する。
さらに、摂動設定における表現能力と圧縮された出力に対する表現率歪みを定義する。
達成可能な能力、達成可能な表現率、およびそれらの逆を導出する。
最後に、結果を統一的な設定で組み合わせます。
関連論文リスト
- Enhancing Pre-trained Representation Classifiability can Boost its Interpretability [112.296393156262]
表現内の解釈可能な意味の比率との相関を利用して、表現解釈可能性の定量化を行う。
Inherent Interpretability Score(IIS)を提案し、情報損失を評価し、解釈可能なセマンティクスの比率を測定し、表現解釈可能性の定量化を行う。
論文 参考訳（メタデータ） (2025-10-28T06:21:06Z) - Transferring disentangled representations: bridging the gap between synthetic and real images [1.0760018917783072]
実データに適用可能な汎用的不整合表現を学習するために,合成データを活用する可能性を検討する。
本稿では,表現中の因子の質を測定するために,新しい解釈可能な介入基準を提案する。
以上の結果から, 合成データから実データへの表現の変換が可能であること, 有効であることが示唆された。
論文 参考訳（メタデータ） (2024-09-26T16:25:48Z) - Representation Learning with Conditional Information Flow Maximization [29.36409607847339]
本稿では,条件情報フローと呼ばれる情報理論表現学習フレームワークを提案する。
学習された表現は、優れた特徴均一性と十分な予測能力を有する。
実験により、学習された表現はより十分で、堅牢で、伝達可能であることが示された。
論文 参考訳（メタデータ） (2024-06-08T16:19:18Z) - Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳（メタデータ） (2023-11-03T03:18:40Z) - Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳（メタデータ） (2023-09-22T20:15:37Z) - Loss Bounds for Approximate Influence-Based Abstraction [81.13024471616417]
影響に基づく抽象化は、システムの残りの部分が与える「影響」とともに、局所的なサブプロブレムをモデル化することでレバレッジを得ることを目的としている。
本稿では,理論的観点から,そのような手法の性能について考察する。
交叉エントロピーで訓練されたニューラルネットワークは、近似的な影響表現を学習するのに適していることを示す。
論文 参考訳（メタデータ） (2020-11-03T15:33:10Z) - Learning Discrete Structured Representations by Adversarially Maximizing
Mutual Information [39.87273353895564]
本研究では、構造化潜在変数と対象変数の相互情報を最大化することにより、ラベルのないデータから離散的構造化表現を学習する。
我々の重要な技術的貢献は、クロスエントロピー計算の実現可能性のみを前提として、相互情報を的確に見積もることができる敵の目的である。
文書ハッシュに本モデルを適用し,離散およびベクトル量子化変分オートエンコーダに基づいて,現在の最良ベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-04-08T13:31:53Z) - Fairness by Learning Orthogonal Disentangled Representations [50.82638766862974]
不変表現問題に対する新しい非絡み合い手法を提案する。
エントロピーによりセンシティブな情報に依存しない有意義な表現を強制する。
提案手法は5つの公開データセットで評価される。
論文 参考訳（メタデータ） (2020-03-12T11:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。