Fugu-MT 論文翻訳(概要): InfoBridge: Mutual Information estimation via Bridge Matching

論文の概要: InfoBridge: Mutual Information estimation via Bridge Matching

arxiv url: http://arxiv.org/abs/2502.01383v1
Date: Mon, 03 Feb 2025 14:18:37 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 15:03:58.654400
Title: InfoBridge: Mutual Information estimation via Bridge Matching
Title（参考訳）: InfoBridge: ブリッジマッチングによる相互情報推定
Authors: Sergei Kholkin, Ivan Butakov, Evgeny Burnaev, Nikita Gushchin, Alexander Korotin,
Abstract要約: 拡散ブリッジ理論を用いることで,従来のMI推定器では困難であるデータに対する非バイアス推定器を構築することができることを示す。我々は,一連の標準MI推定ベンチマークにおいて,推定器の性能を示す。
参考スコア（独自算出の注目度）: 64.11574776911542
License:
Abstract: Diffusion bridge models have recently become a powerful tool in the field of generative modeling. In this work, we leverage their power to address another important problem in machine learning and information theory - the estimation of the mutual information (MI) between two random variables. We show that by using the theory of diffusion bridges, one can construct an unbiased estimator for data posing difficulties for conventional MI estimators. We showcase the performance of our estimator on a series of standard MI estimation benchmarks.
Abstract（参考訳）: 拡散ブリッジモデルは、最近、生成モデリングの分野で強力なツールとなっている。本研究では,2つの確率変数間の相互情報(MI)の推定という,機械学習と情報理論における別の重要な問題に対処するために,それらの力を利用する。拡散ブリッジ理論を用いることで,従来のMI推定器では困難であるデータに対する非バイアス推定器を構築することができることを示す。我々は,一連の標準MI推定ベンチマークにおいて,推定器の性能を示す。

関連論文リスト

A Neural Difference-of-Entropies Estimator for Mutual Information [2.3020018305241337]
正規化フローを用いた条件密度のパラメータ化に基づく新しい相互情報推定器を提案する。この推定器は、標準ベンチマークタスクにおけるバイアス分散トレードオフを改善するために、ブロック自己回帰構造を利用する。
論文参考訳（メタデータ） (2025-02-18T17:48:25Z)
Mutual Information Multinomial Estimation [53.58005108981247]
相互情報(MI)の推定は、データサイエンスと機械学習の基本的な課題である。我々の主な発見は、データ分布の予備的な推定が、劇的に予測に役立ちます。非ガウス的合成問題を含む多種多様な課題に対する実験は,本手法の利点を実証している。
論文参考訳（メタデータ） (2024-08-18T06:27:30Z)
Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文参考訳（メタデータ） (2024-04-11T09:23:36Z)
Mutual Information Estimation via Normalizing Flows [39.58317527488534]
本稿では,相互情報推定問題に対する新しいアプローチを提案する。推定器は、元のデータをターゲット分布にマッピングし、MIを推定し易い。また、MI の既知閉形式表現を用いて対象分布を探索する。
論文参考訳（メタデータ） (2024-03-04T16:28:04Z)
Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
論文参考訳（メタデータ） (2023-11-28T16:46:14Z)
Time Series Anomaly Detection using Diffusion-based Models [5.896413260185387]
拡散モデルは画像の異常検出に最近用いられている。多変量時系列における異常検出にも活用できるかどうかを検討する。我々のモデルは、合成データセットのベースラインを上回り、実世界のデータセットと競合する。
論文参考訳（メタデータ） (2023-11-02T17:58:09Z)
Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
論文参考訳（メタデータ） (2023-05-29T04:22:57Z)
ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
論文参考訳（メタデータ） (2022-06-24T08:18:05Z)
The Conditional Entropy Bottleneck [8.797368310561058]
我々は、頑健な一般化の失敗を、ホールトアウトセット上の精度や関連するメトリクスの失敗として特徴づける。本稿では,モデルの品質を評価するために,最小限必要情報(MNI)基準を提案する。 MNI基準に関して良好に機能するモデルを訓練するために、新しい目的関数である条件エントロピー・ボトルネック(CEB)を提案する。我々は,CEBモデルと決定論的モデル,および様々なデータセット上での変動情報ボトルネック(VIB)モデルの性能を比較することにより,我々の仮説を実験的に検証した。
論文参考訳（メタデータ） (2020-02-13T07:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。