論文の概要: FMMI: Flow Matching Mutual Information Estimation
- arxiv url: http://arxiv.org/abs/2511.08552v1
- Date: Wed, 12 Nov 2025 02:04:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-12 20:17:03.863281
- Title: FMMI: Flow Matching Mutual Information Estimation
- Title(参考訳): FMMI:フローマッチングによる相互情報推定
- Authors: Ivan Butakov, Alexander Semenenko, Alexey Frolov, Ivan Oseledets,
- Abstract要約: 差別的アプローチを根本的に再編成する新しい相互情報(MI)推定器を提案する。
分類器を訓練して関節分布と縁分布を区別する代わりに、一方を他方に変換する正規化フローを学ぶ。
- 参考スコア(独自算出の注目度): 43.51440237740181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a novel Mutual Information (MI) estimator that fundamentally reframes the discriminative approach. Instead of training a classifier to discriminate between joint and marginal distributions, we learn a normalizing flow that transforms one into the other. This technique produces a computationally efficient and precise MI estimate that scales well to high dimensions and across a wide range of ground-truth MI values.
- Abstract(参考訳): 差別的アプローチを根本的に再編成する新しい相互情報(MI)推定器を提案する。
分類器を訓練して結合分布と辺分布を区別する代わりに、一方を他方に変換する正規化フローを学ぶ。
この手法は計算効率が高く正確なMI推定値を生成し、高い次元と幅広い基底構造MI値にわたってよくスケールする。
関連論文リスト
- Contrastive Predictive Coding Done Right for Mutual Information Estimation [21.046609494716865]
InfoNCEが有効なMI推定器とみなすべきでない理由を示す。
正確なMI推定のための簡単な修正をInfoNCE-anchorと呼ぶ。
我々は、適切なスコアリングルールを用いてフレームワークを一般化し、ログスコアが使用される特別なケースとしてInfoNCE-anchorを復元する。
論文 参考訳(メタデータ) (2025-10-29T21:33:59Z) - MMG: Mutual Information Estimation via the MMSE Gap in Diffusion [25.691925207007795]
相互情報(MI)は、確率変数間の関係を測る最も一般的な方法の1つである。
拡散モデルのデノイングは、密度推定のための新しいバーを最近設定した。
拡散モデルを用いてMIを推定できることを示す。
論文 参考訳(メタデータ) (2025-09-24T23:04:48Z) - Mutual Information Multinomial Estimation [53.58005108981247]
相互情報(MI)の推定は、データサイエンスと機械学習の基本的な課題である。
我々の主な発見は、データ分布の予備的な推定が、劇的に予測に役立ちます。
非ガウス的合成問題を含む多種多様な課題に対する実験は,本手法の利点を実証している。
論文 参考訳(メタデータ) (2024-08-18T06:27:30Z) - Mutual Information Estimation via Normalizing Flows [39.58317527488534]
本稿では,相互情報推定問題に対する新しいアプローチを提案する。
推定器は、元のデータをターゲット分布にマッピングし、MIを推定し易い。
また、MI の既知閉形式表現を用いて対象分布を探索する。
論文 参考訳(メタデータ) (2024-03-04T16:28:04Z) - Improving Mutual Information Estimation with Annealed and Energy-Based
Bounds [20.940022170594816]
相互情報(英: Mutual Information、MI)は、情報理論と機械学習における基本的な量である。
重要サンプリングの観点から,既存のMI境界の統一的な視点を示す。
このアプローチに基づく3つの新しい境界を提案する。
論文 参考訳(メタデータ) (2023-03-13T10:47:24Z) - Tight Mutual Information Estimation With Contrastive Fenchel-Legendre
Optimization [69.07420650261649]
我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。
実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。
FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
論文 参考訳(メタデータ) (2021-07-02T15:20:41Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z) - Learning Calibrated Uncertainties for Domain Shift: A Distributionally
Robust Learning Approach [150.8920602230832]
ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。
特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。
提案手法は下流タスクに有利な校正不確実性を生成する。
論文 参考訳(メタデータ) (2020-10-08T02:10:54Z) - Mutual Information Gradient Estimation for Representation Learning [56.08429809658762]
相互情報(MI)は表現学習において重要な役割を担っている。
近年の進歩は、有用な表現を見つけるためのトラクタブルでスケーラブルなMI推定器を確立している。
暗黙分布のスコア推定に基づく表現学習のための相互情報勾配推定器(MIGE)を提案する。
論文 参考訳(メタデータ) (2020-05-03T16:05:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。