論文の概要: Towards Comprehensive Information-theoretic Multi-view Learning

• arxiv url: http://arxiv.org/abs/2509.02084v1
• Date: Tue, 02 Sep 2025 08:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.961648
• Title: Towards Comprehensive Information-theoretic Multi-view Learning
• Title（参考訳）: 総合的な情報理論的多視点学習を目指して
• Authors: Long Shi, Yunshan Ye, Wenjie Wang, Tao Lei, Yu Zhao, Gang Kou, Badong Chen,
• Abstract要約: CIMLは、情報理論に基づく共通情報と一意情報の両方の潜在的な予測能力を考える。 理論的には、学習された関節表現が下流タスクに十分であることを示す。
• 参考スコア（独自算出の注目度）: 49.199817029783446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information theory has inspired numerous advancements in multi-view learning. Most multi-view methods incorporating information-theoretic principles rely an assumption called multi-view redundancy which states that common information between views is necessary and sufficient for down-stream tasks. This assumption emphasizes the importance of common information for prediction, but inherently ignores the potential of unique information in each view that could be predictive to the task. In this paper, we propose a comprehensive information-theoretic multi-view learning framework named CIML, which discards the assumption of multi-view redundancy. Specifically, CIML considers the potential predictive capabilities of both common and unique information based on information theory. First, the common representation learning maximizes Gacs-Korner common information to extract shared features and then compresses this information to learn task-relevant representations based on the Information Bottleneck (IB). For unique representation learning, IB is employed to achieve the most compressed unique representation for each view while simultaneously minimizing the mutual information between unique and common representations, as well as among different unique representations. Importantly, we theoretically prove that the learned joint representation is predictively sufficient for the downstream task. Extensive experimental results have demonstrated the superiority of our model over several state-of-art methods. The code is released on CIML.
• Abstract（参考訳）: 情報理論は多視点学習に多くの進歩をもたらした。 情報理論の原則を取り入れたほとんどのマルチビュー手法は、ビュー間の共通情報が下流のタスクに十分であることを示すマルチビュー冗長性と呼ばれる仮定に依存している。 この仮定は、予測のための共通情報の重要性を強調するが、本質的にはタスクに予測可能な各ビューにおけるユニークな情報の可能性を無視している。 本稿では,多視点冗長性の仮定を捨てたCIMLという包括的情報理論に基づく多視点学習フレームワークを提案する。 特に、CIMLは、情報理論に基づく共通情報と一意情報の両方の潜在的な予測能力について考察する。 まず、共通表現学習は、Gacs-Korner共通情報を最大化して共有特徴を抽出し、その情報を圧縮して、Information Bottleneck (IB)に基づいてタスク関連表現を学習する。 ユニーク表現学習では、各ビューに対して最も圧縮されたユニークな表現を実現すると同時に、ユニークな表現と共通の表現の相互情報の最小化を行う。 重要なことは、学習された関節表現が下流タスクに十分であるということを理論的に証明することである。 実験結果から,本モデルがいくつかの最先端手法よりも優れていることが示された。 コードはCIMLでリリースされている。

関連論文リスト

• Towards the Generalization of Multi-view Learning: An Information-theoretical Analysis [28.009990407017618]
  我々は多視点学習のための情報理論の一般化境界を開発する。 我々は、新しいデータ依存バウンダリを、Left-one-outとSupersample設定の両方で導き出す。 補間体制では、多視点学習のための高速な境界がさらに確立される。
  論文  参考訳（メタデータ） (2025-01-28T07:47:19Z)
• Discovering Common Information in Multi-view Data [35.37807004353416]
  多視点データから共通情報を計算するための革新的で数学的に厳密な定義を導入する。 我々は,共通情報と一意情報の両方を捉えるために,教師付き多視点学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-06-21T10:47:06Z)
• TCGF: A unified tensorized consensus graph framework for multi-view representation learning [27.23929515170454]
  本稿では,Consensus Graph Framework (TCGF) という汎用多視点表現学習フレームワークを提案する。 まず、個々のビューの表現を利用するために、既存のマルチビューワークに統一されたフレームワークを提供する。 そして、それらを高次表現としてアライメント基本の下でテンソルに積み上げ、一貫性の滑らかな伝播を可能にする。
  論文  参考訳（メタデータ） (2023-09-14T19:29:14Z)
• Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
  本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。 大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-06-08T15:17:04Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)
• Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
  自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。 我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
  論文  参考訳（メタデータ） (2020-06-10T00:21:35Z)
• Learning Robust Representations via Multi-View Information Bottleneck [41.65544605954621]
  元の定式化は、過剰な情報を識別するためにラベル付きデータを必要とする。 この機能は、同一のエンティティの2つのビューが提供されるが、ラベルが不明なマルチビューアントラクサ設定に拡張する。 理論的解析により、MIR-FlickrデータセットのSketchyデータセットとラベル限定バージョンで最先端の結果を生成する新しいマルチビューモデルが定義される。
  論文  参考訳（メタデータ） (2020-02-17T16:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。