論文の概要: Representation Learning with Conditional Information Flow Maximization

• arxiv url: http://arxiv.org/abs/2406.05510v2
• Date: Mon, 12 Aug 2024 09:31:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 21:03:04.688982
• Title: Representation Learning with Conditional Information Flow Maximization
• Title（参考訳）: 条件付き情報フロー最大化による表現学習
• Authors: Dou Hu, Lingwei Wei, Wei Zhou, Songlin Hu,
• Abstract要約: 本稿では,条件情報フローと呼ばれる情報理論表現学習フレームワークを提案する。 学習された表現は、優れた特徴均一性と十分な予測能力を有する。 実験により、学習された表現はより十分で、堅牢で、伝達可能であることが示された。
• 参考スコア（独自算出の注目度）: 29.36409607847339
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes an information-theoretic representation learning framework, named conditional information flow maximization, to extract noise-invariant sufficient representations for the input data and target task. It promotes the learned representations have good feature uniformity and sufficient predictive ability, which can enhance the generalization of pre-trained language models (PLMs) for the target task. Firstly, an information flow maximization principle is proposed to learn more sufficient representations for the input and target by simultaneously maximizing both input-representation and representation-label mutual information. Unlike the information bottleneck, we handle the input-representation information in an opposite way to avoid the over-compression issue of latent representations. Besides, to mitigate the negative effect of potential redundant features from the input, we design a conditional information minimization principle to eliminate negative redundant features while preserve noise-invariant features. Experiments on 13 language understanding benchmarks demonstrate that our method effectively improves the performance of PLMs for classification and regression. Extensive experiments show that the learned representations are more sufficient, robust and transferable.
• Abstract（参考訳）: 本稿では,入力データと対象タスクに対する雑音不変表現を抽出するために,条件情報フローの最大化という情報理論表現学習フレームワークを提案する。 学習された表現は、良好な特徴均一性と十分な予測能力を有し、目標タスクに対する事前学習言語モデル(PLM)の一般化を促進することができる。 まず,情報フローの最大化原理を提案し,入力表現と表現ラベルの両相互情報を同時に最大化する。 情報ボトルネックとは異なり、潜在表現の過剰圧縮問題を避けるために、入力表現情報を反対の方法で処理する。 さらに、入力から潜在的な冗長な特徴の負の効果を軽減するため、雑音不変な特徴を保ちながら負の冗長な特徴を除去する条件情報最小化原理を設計する。 13の言語理解ベンチマーク実験により,本手法は分類と回帰のためのPLMの性能を効果的に向上することを示した。 大規模な実験により、学習された表現はより十分で、堅牢で、伝達可能であることが示された。

関連論文リスト

• Text Representation Distillation via Information Bottleneck Principle [22.63996326177594]
  IBKDと呼ばれる新しい知識蒸留法を提案する。 本研究の目的は,教師モデルと学生モデルの最終表現間の相互情報を最大化しつつ,学生モデルの表現と入力データとの相互情報を同時に低減することにある。 テキスト表現の2つの主要なダウンストリーム応用に関する実証的研究により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-11-09T16:04:17Z)
• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• Robust Representation Learning via Perceptual Similarity Metrics [18.842322467828502]
  Contrastive Input Morphing (CIM) はデータの入力空間変換を学習する表現学習フレームワークである。 CIMは他の相互情報に基づく表現学習技術と相補的であることを示す。
  論文  参考訳（メタデータ） (2021-06-11T21:45:44Z)
• Conditional Contrastive Learning: Removing Undesirable Information in Self-Supervised Representations [108.29288034509305]
  我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。 提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
  論文  参考訳（メタデータ） (2021-06-05T10:51:26Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)
• Fairness by Learning Orthogonal Disentangled Representations [50.82638766862974]
  不変表現問題に対する新しい非絡み合い手法を提案する。 エントロピーによりセンシティブな情報に依存しない有意義な表現を強制する。 提案手法は5つの公開データセットで評価される。
  論文  参考訳（メタデータ） (2020-03-12T11:09:15Z)
• Learning Adversarially Robust Representations via Worst-Case Mutual Information Maximization [15.087280646796527]
  敵の入力に対して堅牢な機械学習モデルを訓練することは、一見不可能な課題である。 我々は,入力分布と出力分布の相互情報の最大変化をキャプチャする表現脆弱性の概念を開発する。 最悪ケースの相互情報を最大化することにより,本質的に堅牢な表現を得るための教師なし学習手法を提案する。
  論文  参考訳（メタデータ） (2020-02-26T21:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。