論文の概要: Contrastive MIM: A Contrastive Mutual Information Framework for Unified Generative and Discriminative Representation Learning

• arxiv url: http://arxiv.org/abs/2411.10548v4
• Date: Sat, 30 Aug 2025 04:41:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-03 14:24:52.046815
• Title: Contrastive MIM: A Contrastive Mutual Information Framework for Unified Generative and Discriminative Representation Learning
• Title（参考訳）: コントラストMIM:一元的・識別的表現学習のためのコントラスト的相互情報フレームワーク
• Authors: Micha Livne,
• Abstract要約: 我々は,相互情報機械 (MIM) を新規に拡張する確率的フレームワークである相互情報機械 (cMIM) を紹介する。 cMIMはこの制限に対処し、MIMの生成強度を維持しながらグローバルな識別構造を強制する。 提案する主なコントリビューションは,(1) インフォネッセ方式とは異なり,有意なデータ拡張の必要性を排除し,バッチサイズに堅牢なMIMのコントラスト拡張であるcMIM,(2) エンコーダ-デコーダからリッチ表現を抽出する一般的な手法である情報埋め込みを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning representations that generalize well to unknown downstream tasks is a central challenge in representation learning. Existing approaches such as contrastive learning, self-supervised masking, and denoising auto-encoders address this challenge with varying trade-offs. In this paper, we introduce the {contrastive Mutual Information Machine} (cMIM), a probabilistic framework that augments the Mutual Information Machine (MIM) with a novel contrastive objective. While MIM maximizes mutual information between inputs and latent variables and encourages clustering of latent codes, its representations underperform on discriminative tasks compared to state-of-the-art alternatives. cMIM addresses this limitation by enforcing global discriminative structure while retaining MIM's generative strengths. We present two main contributions: (1) we propose cMIM, a contrastive extension of MIM that eliminates the need for positive data augmentation and is robust to batch size, unlike InfoNCE-based methods; (2) we introduce {informative embeddings}, a general technique for extracting enriched representations from encoder--decoder models that substantially improve discriminative performance without additional training, and which apply broadly beyond MIM. Empirical results demonstrate that cMIM consistently outperforms MIM and InfoNCE in classification and regression tasks, while preserving comparable reconstruction quality. These findings suggest that cMIM provides a unified framework for learning representations that are simultaneously effective for discriminative and generative applications.
• Abstract（参考訳）: 未知の下流タスクによく一般化する表現の学習は、表現学習における中心的な課題である。 対照的な学習、自己監督型マスキング、自動エンコーダの認知といった既存のアプローチは、様々なトレードオフによってこの問題に対処している。 本稿では,相互情報機械(MIM)を新たなコントラスト目的で強化する確率的フレームワークである,コントラスト型相互情報機械(cMIM)を紹介する。 MIMは入力と潜時変数間の相互情報を最大化し、潜時符号のクラスタリングを促進するが、その表現は最先端の代替品と比較して差別的なタスクでは不十分である。 cMIMはこの制限に対処し、MIMの生成強度を維持しながらグローバルな識別構造を強制する。 我々は,(1) インフォメーションベースの手法とは異なり,積極的データ拡張の必要性を排除し,バッチサイズに頑健なMIMの拡張であるcMIMを提案し,(2) エンコーダ-デコーダモデルからリッチ表現を抽出する一般的な手法である {informative embeddeddings} を導入し,MIM を超えて差別的性能を大幅に向上させる。 実験の結果,cMIM はMIM やInfoNCE よりも高い性能を示し,再現性は同等であることがわかった。 これらの結果から,cMIMは識別的・生成的応用に同時に有効である学習表現のための統一的なフレームワークを提供する可能性が示唆された。

関連論文リスト

• UMA: A Family of Universal Models for Atoms [16.3404265902621]
  我々は、スピード、精度、一般化のフロンティアを推し進めるために設計されたUniversal Models for Atoms (UMA) のファミリーを提示する。 UMAモデルは、複数の化学ドメインにまたがるデータをコンパイルすることで、5億のユニークな3D原子構造で訓練されている。 複数のドメインにまたがる多様なアプリケーション上でのUMAモデルの評価を行い、驚くほど、微調整のない単一モデルでも、専門モデルと同じような、あるいはより優れた性能を発揮できることを示した。
  論文  参考訳（メタデータ） (2025-06-30T15:38:13Z)
• MOFA: Discovering Materials for Carbon Capture with a GenAI- and Simulation-Based Workflow [5.310696264367485]
  MOFAはオープンソースの生成AI(GenAI)と高速な金属-有機フレームワーク(MOF)のシミュレーションワークフローである。 MOFAは、分散トレーニングや推論を含むGenAIタスクのためのGPU加速コンピューティングと、AI生成のMOFのスクリーニングとフィルタリングのためのCPUおよびGPU最適化タスクを統合する上で、重要な課題に対処する。
  論文  参考訳（メタデータ） (2025-01-18T04:10:44Z)
• MAMMAL -- Molecular Aligned Multi-Modal Architecture and Language [0.4631438140637248]
  MAMMALは多タスク基盤モデルの作成に応用された汎用的手法であり、多様なモダリティにわたる大規模生物学的データセットから学習する。 11の下流タスクで評価され、9つのタスクでSOTA(the new state of the art)に到達し、2つのタスクでSOTAに匹敵する。 抗体-抗原およびナノボディ-抗原複合体上でのαfold 3結合予測能について検討し, 4点中3点においてMAMMALの分類性能は有意に向上した。
  論文  参考訳（メタデータ） (2024-10-28T20:45:52Z)
• Bio2Token: All-atom tokenization of any biomolecular structure with Mamba [3.039173168183899]
  完全タンパク質,RNAおよび小分子構造の原子レベルのトークン化を学習する量子化オートエンコーダを開発した。 我々は、Mamba状態空間モデルアーキテクチャが比較的効率的であることを示し、競争力のある精度に達するのに必要なトレーニングデータ、パラメータ、計算のごく一部を必要とし、約10万の原子を持つシステムにスケール可能であることを示した。
  論文  参考訳（メタデータ） (2024-10-24T19:23:09Z)
• All-in-one foundational models learning across quantum chemical levels [0.0]
  マルチモーダル学習に基づくオールインワン(AIO)ANIモデルアーキテクチャを提案する。 私たちのオールインワンの学習アプローチは、トランスファーラーニングよりも汎用的で使いやすい代替手段を提供します。 AIO-ANIモデルは、半経験的から密度汎関数理論から結合クラスタまで、様々なQCレベルにわたって学習可能であることを示す。
  論文  参考訳（メタデータ） (2024-09-18T14:29:14Z)
• GP-MoLFormer: A Foundation Model For Molecular Generation [31.569161097828893]
  本研究では,大規模ケミカルデータセット上での化学言語トランスフォーマーの訓練パラダイムを,本研究における生成タスクにまで拡張する。 具体的には, GP-MoLFormerを提案する。GP-MoLFormerは1.1B以上のケミカルSMILESをトレーニングした自己回帰分子文字列生成装置である。 GP-MoLFormerは、生成分子の数が100億の範囲にあり、参照集合が10億を超える場合でも、かなりの数の新規かつ有効でユニークなSMILESを生成することができる。
  論文  参考訳（メタデータ） (2024-04-04T16:20:06Z)
• MAMMOTH: Massively Multilingual Modular Open Translation @ Helsinki [46.62437145754009]
  MAMMOTHツールキットは,大規模な多言語モジュール型機械翻訳システムを大規模に学習するためのフレームワークである。 A100およびV100 NVIDIA GPUのクラスタ間で効率を実証し、設計哲学と今後の情報計画について議論する。
  論文  参考訳（メタデータ） (2024-03-12T11:32:30Z)
• OpenMEDLab: An Open-source Platform for Multi-modality Foundation Models in Medicine [55.29668193415034]
  マルチモダリティ基盤モデルのためのオープンソースプラットフォームであるOpenMEDLabについて紹介する。 これは、最前線臨床および生体情報学応用のための大規模言語とビジョンモデルを刺激し、微調整する先駆的な試みの解決策をカプセル化する。 様々な医用画像のモダリティ、臨床テキスト、タンパク質工学など、事前訓練された基礎モデル群へのアクセスが可能である。
  論文  参考訳（メタデータ） (2024-02-28T03:51:02Z)
• End-to-end AI framework for interpretable prediction of molecular and crystal properties [3.8878792624088856]
  このフレームワークは、CGCNN、PhysNet、SchNet、MPNN、MPNN-transformer、TorchMD-NETといった最先端AIモデルに基づいている。 これらのAIモデルとベンチマークQM9、hMOF、MD17データセットを併用して、モデルがユーザ指定の材料特性を予測する方法を示す。
  論文  参考訳（メタデータ） (2022-12-21T19:27:51Z)
• Model LEGO: Creating Models Like Disassembling and Assembling Building Blocks [53.09649785009528]
  本稿では,新しいモデルを得るためのトレーニングを必要としないパラダイムについて検討する。 生体視覚系における受容野にインスパイアされたCNNの誕生と同様、モデル分解と組み立てを提案する。 モデル組立には、特定のタスクに適した新しいモデルを構築するために、アライメントパディング戦略とパラメータスケーリング戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:27:28Z)
• The Ecological Footprint of Neural Machine Translation Systems [2.132096006921048]
  本章では、ニューラルMTシステムの生態的フットプリントに焦点を当てる。 トレーニング中のパワードレインとニューラルMTモデルによる推論から始まり、環境への影響に向かって進む。 全体のCO2排出量はアイルランドとオランダで計算される。
  論文  参考訳（メタデータ） (2022-02-04T14:56:41Z)
• M6-10T: A Sharing-Delinking Paradigm for Efficient Multi-Trillion Parameter Pretraining [55.16088793437898]
  極端なモデルのトレーニングには大量の計算とメモリフットプリントが必要です。 本稿では,高メモリフットプリント要求大モデルのための簡単なトレーニング戦略"Pseudo-to-Real"を提案する。
  論文  参考訳（メタデータ） (2021-10-08T04:24:51Z)
• Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study [62.376800537374024]
  我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-17T17:55:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。