論文の概要: MIST: Mutual Information Via Supervised Training

• arxiv url: http://arxiv.org/abs/2511.18945v1
• Date: Mon, 24 Nov 2025 09:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.147853
• Title: MIST: Mutual Information Via Supervised Training
• Title（参考訳）: MIST:訓練を監督する相互情報
• Authors: German Gritsai, Megan Richards, Maxime Méloux, Kyunghyun Cho, Maxime Peyrard,
• Abstract要約: 我々は、相互情報(MI)推定器を設計するための完全なデータ駆動アプローチを提案する。 任意のMI推定器は、2つの確率変数から観測されたサンプルの関数であるため、ニューラルネットワーク(MIST)を用いてこの関数をパラメータ化する。 625,000の合成関節分布の大規模なメタデータセット上で、既知の接地トラスMIを用いてトレーニングを行う。
• 参考スコア（独自算出の注目度）: 41.02529625643583
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We propose a fully data-driven approach to designing mutual information (MI) estimators. Since any MI estimator is a function of the observed sample from two random variables, we parameterize this function with a neural network (MIST) and train it end-to-end to predict MI values. Training is performed on a large meta-dataset of 625,000 synthetic joint distributions with known ground-truth MI. To handle variable sample sizes and dimensions, we employ a two-dimensional attention scheme ensuring permutation invariance across input samples. To quantify uncertainty, we optimize a quantile regression loss, enabling the estimator to approximate the sampling distribution of MI rather than return a single point estimate. This research program departs from prior work by taking a fully empirical route, trading universal theoretical guarantees for flexibility and efficiency. Empirically, the learned estimators largely outperform classical baselines across sample sizes and dimensions, including on joint distributions unseen during training. The resulting quantile-based intervals are well-calibrated and more reliable than bootstrap-based confidence intervals, while inference is orders of magnitude faster than existing neural baselines. Beyond immediate empirical gains, this framework yields trainable, fully differentiable estimators that can be embedded into larger learning pipelines. Moreover, exploiting MI's invariance to invertible transformations, meta-datasets can be adapted to arbitrary data modalities via normalizing flows, enabling flexible training for diverse target meta-distributions.
• Abstract（参考訳）: 我々は、相互情報(MI)推定器を設計するための完全なデータ駆動アプローチを提案する。 任意のMI推定器は、2つの確率変数から観測されたサンプルの関数であるため、ニューラルネットワーク(MIST)でこの関数をパラメータ化し、それをエンドツーエンドにトレーニングしてMI値を予測する。 625,000の合成関節分布の大規模なメタデータセット上で、既知の接地トラスMIを用いてトレーニングを行う。 サンプルサイズや寸法の変動に対処するため,2次元のアテンション・スキームを用いて入力サンプル間の変分を保証した。 不確かさを定量化するために、定量回帰損失を最適化し、推定器は単一点推定を返すのではなく、MIのサンプリング分布を近似することができる。 この研究プログラムは、完全な経験的な経路を採り、柔軟性と効率性に関する普遍的な理論的保証を交換することで、以前の研究から逸脱する。 経験的に、学習した推定器は、トレーニング中に見つからない関節分布を含む、サンプルサイズと寸法で古典的なベースラインをほぼ上回っている。 得られた量子的間隔はブートストラップに基づく信頼区間よりもよく校正され信頼性が高いが、推論は既存のニューラルネットワークよりも桁違いに高速である。 即時的な経験的なゲインを超えて、このフレームワークはトレーニング可能な、完全に微分可能な推定器を生成し、より大きな学習パイプラインに組み込むことができる。 さらに、MIの逆変換への不変性を利用して、メタデータセットは正規化フローを介して任意のデータモダリティに適応することができ、多様なターゲットのメタディストリビューションのための柔軟なトレーニングを可能にする。

関連論文リスト

• Bayesian Meta-Reinforcement Learning with Laplace Variational Recurrent Networks [8.73717644648873]
  基本モデルアーキテクチャを変更することなく、ポイント推定を拡大して完全な分布を与える方法を示す。 本手法は,パラメータの少ない変分ベースラインと同等に動作する。
  論文  参考訳（メタデータ） (2025-05-24T08:38:10Z)
• A Deep Bayesian Nonparametric Framework for Robust Mutual Information Estimation [9.68824512279232]
  相互情報(MI)は、変数間の依存関係をキャプチャするための重要な手段である。 正規化を組み込むためにディリクレ過程後部の有限表現でMI損失を構成することでMI推定器を訓練するソリューションを提案する。 データ空間と変分オートエンコーダの潜時空間の間のMIを最大化するための推定器の適用について検討する。
  論文  参考訳（メタデータ） (2025-03-11T21:27:48Z)
• Bayesian Estimation and Tuning-Free Rank Detection for Probability Mass Function Tensors [17.640500920466984]
  本稿では,関節のPMFを推定し,そのランクを観測データから自動的に推定する新しい枠組みを提案する。 我々は、様々なモデルパラメータの後方分布を近似するために、変分推論(VI)に基づく決定論的解を導出し、さらに、変分推論(SVI)を利用して、VVIベースのアプローチのスケーラブルバージョンを開発する。 合成データと実映画レコメンデーションデータの両方を含む実験は、推定精度、自動ランク検出、計算効率の点で、VVIおよびSVIベースの手法の利点を示している。
  論文  参考訳（メタデータ） (2024-10-08T20:07:49Z)
• Amortised Inference in Neural Networks for Small-Scale Probabilistic Meta-Learning [41.85464593920907]
  BNNに対する大域的変分近似は、一連の条件分布を構成するために一連のインジェクションインプットを使用する。 我々の重要な洞察は、これらのインプットを実際のデータに置き換えることができ、変動分布は各データポイントに対して近似的な確率の集合からなることである。 この推論ネットワークを関連するデータセット間でトレーニングすることにより、タスク固有のBNNに対するメタ学習ベイズ推論が可能になる。
  論文  参考訳（メタデータ） (2023-10-24T12:34:25Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
  本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-02-08T17:58:11Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Assessments of model-form uncertainty using Gaussian stochastic weight averaging for fluid-flow regression [0.0]
  我々は,ニューラルネットワークに基づく関数近似に関連したモデル形状の不確実性を評価するために,ガウス量平均化(SWAG)を用いた。 SWAGは、各重量の後方ガウス分布、与えられたトレーニングデータ、一定の学習率を近似する。 本稿では,2種類のニューラルネットワークに適用可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-16T23:13:26Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。