論文の概要: Information Subtraction: Learning Representations for Conditional Entropy

• arxiv url: http://arxiv.org/abs/2501.02012v1
• Date: Thu, 02 Jan 2025 13:10:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:06:41.167336
• Title: Information Subtraction: Learning Representations for Conditional Entropy
• Title（参考訳）: 情報サブトラクション:条件付きエントロピーのための学習表現
• Authors: Keng Hou Leong, Yuxuan Xiu, Wai Kin, Chan,
• Abstract要約: 本稿では,望ましくない情報を排除しつつ,所望の情報を保存するためのフレームワークであるInformation Subtractionを紹介する。 我々は、情報項を最大化し、他の表現を最小化することにより、これらの表現を出力する生成的アーキテクチャを実装した。 本結果は,条件付きエントロピーのセマンティックな特徴を提供する表現の能力を強調した。
• 参考スコア（独自算出の注目度）: 1.4297089600426414
• License:
• Abstract: The representations of conditional entropy and conditional mutual information are significant in explaining the unique effects among variables. While previous studies based on conditional contrastive sampling have effectively removed information regarding discrete sensitive variables, they have not yet extended their scope to continuous cases. This paper introduces Information Subtraction, a framework designed to generate representations that preserve desired information while eliminating the undesired. We implement a generative-based architecture that outputs these representations by simultaneously maximizing an information term and minimizing another. With its flexibility in disentangling information, we can iteratively apply Information Subtraction to represent arbitrary information components between continuous variables, thereby explaining the various relationships that exist between them. Our results highlight the representations' ability to provide semantic features of conditional entropy. By subtracting sensitive and domain-specific information, our framework demonstrates effective performance in fair learning and domain generalization. The code for this paper is available at https://github.com/jh-liang/Information-Subtraction
• Abstract（参考訳）: 条件付きエントロピーと条件付き相互情報の表現は、変数間のユニークな影響を説明する上で重要である。 従来の条件付きコントラストサンプリングに基づく研究は、離散的な感度変数に関する情報を効果的に除去してきたが、彼らはまだその範囲を連続した事例にまで拡張していない。 本稿では,望ましくない情報を排除しつつ,所望の情報を保存するためのフレームワークであるInformation Subtractionを紹介する。 我々は、情報項を最大化し、他の表現を最小化することにより、これらの表現を出力する生成的アーキテクチャを実装した。 情報交換の柔軟性により、情報サブトラクションを反復的に適用して、連続変数間の任意の情報コンポーネントを表現し、それらの間の様々な関係を説明することができる。 その結果,条件付きエントロピーのセマンティックな特徴を表現できる能力を強調した。 本フレームワークは,機密情報やドメイン固有情報を抽出することにより,フェアラーニングやドメインの一般化に有効な性能を示す。 本論文のコードはhttps://github.com/jh-liang/Information-Subtractionで公開されている。

関連論文リスト

• Representation Learning with Conditional Information Flow Maximization [29.36409607847339]
  本稿では,条件情報フローと呼ばれる情報理論表現学習フレームワークを提案する。 学習された表現は、優れた特徴均一性と十分な予測能力を有する。 実験により、学習された表現はより十分で、堅牢で、伝達可能であることが示された。
  論文  参考訳（メタデータ） (2024-06-08T16:19:18Z)
• Efficient Information Extraction in Few-Shot Relation Classification through Contrastive Representation Learning [23.992247765851204]
  本稿では,複数文表現とコントラスト学習を組み合わせた情報抽出手法を提案する。 本手法では,これらの表現から相補的識別情報を抽出するために,コントラスト学習を用いる。
  論文  参考訳（メタデータ） (2024-03-25T08:36:06Z)
• Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
  情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。 本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
  論文  参考訳（メタデータ） (2023-03-10T18:31:50Z)
• FUNCK: Information Funnels and Bottlenecks for Invariant Representation Learning [7.804994311050265]
  データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。 本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。 一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
  論文  参考訳（メタデータ） (2022-11-02T19:37:55Z)
• Leveraging Relational Information for Learning Weakly Disentangled Representations [11.460692362624533]
  絡み合いは神経表現を強制するのは難しい性質である。 我々は、(弱々しい)非絡み合い表現の学習に関する別の見解を示す。
  論文  参考訳（メタデータ） (2022-05-20T09:58:51Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Conditional Contrastive Learning: Removing Undesirable Information in Self-Supervised Representations [108.29288034509305]
  我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。 提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
  論文  参考訳（メタデータ） (2021-06-05T10:51:26Z)
• Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies [88.0813215220342]
  いくつかのモダリティは、他のものよりも分類結果に容易に寄与することができる。 機能的エントロピーと機能的フィッシャー情報とを結合した対数ソボレフの不等式に基づく手法を開発した。 VQA-CPv2 と SocialIQ の2つの挑戦的マルチモーダルデータセットに対して,より均一にモダリティを活用しながら,最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-10-21T07:40:33Z)
• Fairness by Learning Orthogonal Disentangled Representations [50.82638766862974]
  不変表現問題に対する新しい非絡み合い手法を提案する。 エントロピーによりセンシティブな情報に依存しない有意義な表現を強制する。 提案手法は5つの公開データセットで評価される。
  論文  参考訳（メタデータ） (2020-03-12T11:09:15Z)
• A Theory of Usable Information Under Computational Constraints [103.5901638681034]
  本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。 我々の基礎はシャノンの情報理論の変分拡張に基づいている。 計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
  論文  参考訳（メタデータ） (2020-02-25T06:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。