論文の概要: Mutual Information guided Visual Contrastive Learning

• arxiv url: http://arxiv.org/abs/2511.00028v1
• Date: Sun, 26 Oct 2025 20:43:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.521968
• Title: Mutual Information guided Visual Contrastive Learning
• Title（参考訳）: 視覚的コントラスト学習を指導する相互情報
• Authors: Hanyang Chen, Yanchao Yang,
• Abstract要約: 本研究では,実世界の分布から計算した相互情報に基づいて,学習データを選択する可能性を検討する。 提案手法は,複数の最先端表現学習フレームワークにまたがって,複数のベンチマークに対して提案した相互情報インフォームドデータ拡張手法を評価する。
• 参考スコア（独自算出の注目度）: 8.058961687401627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning methods utilizing the InfoNCE loss have demonstrated considerable capacity in reducing human annotation effort by training invariant neural feature extractors. Although different variants of the training objective adhere to the information maximization principle between the data and learned features, data selection and augmentation still rely on human hypotheses or engineering, which may be suboptimal. For instance, data augmentation in contrastive learning primarily focuses on color jittering, aiming to emulate real-world illumination changes. In this work, we investigate the potential of selecting training data based on their mutual information computed from real-world distributions, which, in principle, should endow the learned features with better generalization when applied in open environments. Specifically, we consider patches attached to scenes that exhibit high mutual information under natural perturbations, such as color changes and motion, as positive samples for learning with contrastive loss. We evaluate the proposed mutual-information-informed data augmentation method on several benchmarks across multiple state-of-the-art representation learning frameworks, demonstrating its effectiveness and establishing it as a promising direction for future research.
• Abstract（参考訳）: InfoNCEの損失を利用した表現学習法は、不変のニューラル特徴抽出器を訓練することにより、人間のアノテーションの労力を減らすことにかなりの能力を示している。 訓練対象の異なる変種は、データと学習した特徴の間の情報の最大化原理に固執するが、データの選択と拡張はまだ人間の仮説や工学に依存しており、それは最適ではないかもしれない。 例えば、対照的な学習におけるデータ拡張は、主に現実世界の照明変化をエミュレートすることを目的としたカラージッタリングに焦点を当てている。 本研究では,実世界の分布から計算した相互情報に基づいて学習データを選択する可能性について検討する。 具体的には、色の変化や動きなどの自然摂動下で高い相互情報を示すシーンに添付されたパッチを、対照的な損失を伴う学習のための正のサンプルとして検討する。 提案手法は,複数の最先端表現学習フレームワークにまたがる複数のベンチマークで評価し,その有効性を実証し,将来的な研究の道筋として確立する。

関連論文リスト

• Multimodal Information Bottleneck for Deep Reinforcement Learning with Multiple Sensors [10.454194186065195]
  強化学習はロボット制御タスクにおいて有望な成果を上げてきたが、情報の有効活用に苦慮している。 最近の研究は、複数の感覚入力から関節表現を抽出するために、再構成や相互情報に基づく補助的損失を構築している。 生のマルチモーダル観測について,学習した共同表現で情報を圧縮することが有用である。
  論文  参考訳（メタデータ） (2024-10-23T04:32:37Z)
• Leveraging Variation Theory in Counterfactual Data Augmentation for Optimized Active Learning [19.962212551963383]
  アクティブラーニング(AL)は、モデルがユーザフィードバックからインタラクティブに学習することを可能にする。 本稿では,ALに反実データ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:55:04Z)
• Separating common from salient patterns with Contrastive Representation Learning [2.250968907999846]
  コントラスト分析は、2つのデータセット間の変動の共通要因を分離することを目的としている。 変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。 コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の活用を提案する。
  論文  参考訳（メタデータ） (2024-02-19T08:17:13Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Reinforcement Learning from Passive Data via Latent Intentions [86.4969514480008]
  我々は、下流RLを加速する機能を学ぶために、受動的データが引き続き使用できることを示す。 我々のアプローチは、意図をモデル化することで受動的データから学習する。 実験では、クロス・エボディメント・ビデオデータやYouTubeビデオなど、さまざまな形式の受動的データから学習できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:59:05Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Conditional Contrastive Learning: Removing Undesirable Information in Self-Supervised Representations [108.29288034509305]
  我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。 提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
  論文  参考訳（メタデータ） (2021-06-05T10:51:26Z)
• Adversarial Multi-Source Transfer Learning in Healthcare: Application to Glucose Prediction for Diabetic People [4.17510581764131]
  本稿では,複数のソース間で類似した特徴表現の学習を可能にする多元逆変換学習フレームワークを提案する。 完全畳み込みニューラルネットワークを用いた糖尿病患者の血糖予測にこの考え方を適用した。 特に、異なるデータセットのデータを使用したり、あるいはデータセット内の状況にデータが少ない場合に輝く。
  論文  参考訳（メタデータ） (2020-06-29T11:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。