論文の概要: ALICE: In-context, Zero-shot, Mutual Information Estimation

• arxiv url: http://arxiv.org/abs/2609.34962v2
• Date: Tue, 29 Sep 2026 08:24:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.785157
• Title: ALICE: In-context, Zero-shot, Mutual Information Estimation
• Title（参考訳）: ALICE: コンテキスト内、ゼロショット、相互情報推定
• Abstract要約: 本稿では,分布ごとのトレーニングを除去し,競争的推定精度を実現する基盤モデルであるALICEを提案する。 1つのモデルがそれぞれの分布に対して個別に訓練された神経推定器とのギャップを埋め、異なるデータ次元とサンプル濃度をサポートすることを示す。
• 参考スコア（独自算出の注目度）: 15.104447376427991
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating mutual information (MI) from samples is a central objective in a variety of scientific fields. Modern neural estimators are accurate in the large-data regime, but they fall short when data is scarce, and each must be fit anew for every distribution under study. Current estimators are moreover tied to specific data types. These constraints limit their adoption in many applications where per-distribution training is impractical and sample sizes are small. We present ALICE, a foundation model that removes per-distribution training, while achieving competitive estimation accuracy. Trained exclusively on a broad family of synthetic distributions, ALICE acts as an in-context estimator of rectified-flow velocity fields: conditioned on samples of an unseen distribution, it estimates that distribution's velocity field without any explicit training. MI is then obtained through a fixed identity that integrates the squared difference between the joint and conditional fields. We validate ALICE on a standard, challenging benchmark and apply it in three domains, biology, genetics, and neuroscience, whose data the model has never seen. For the first time, we show that a single model closes the gap with neural estimators trained separately for each distribution, while natively supporting different data dimensionality and sample cardinality, enabling zero-shot MI analysis across scientific domains.
• Abstract（参考訳）: サンプルから相互情報(MI)を推定することは、様々な科学分野において中心的な目的である。 現代の神経推定器は、大規模なデータ体制では正確だが、データが乏しいときに不足し、研究対象のすべての分布に適合しなければならない。 現在の推定器は、特定のデータ型に結びついている。 これらの制約は、ディストリビューションごとのトレーニングが非現実的であり、サンプルサイズが小さい多くのアプリケーションで採用を制限する。 本稿では, 競争力のある推定精度を達成しつつ, 分配ごとのトレーニングを除去する基礎モデルであるALICEを提案する。 ALICEは、広い種類の合成分布に基づいて訓練され、整流流速度場のコンテキスト内推定器として機能し、未知の分布のサンプルに条件付きで、分布の速度場を明示的な訓練なしに推定する。 MI は、関節と条件場の二乗差を積分する固定恒等式によって得られる。 我々は、ALICEを標準的で挑戦的なベンチマークで検証し、そのモデルを見たことのない3つの領域、生物学、遺伝学、神経科学に適用する。 1つのモデルがそれぞれの分布に対して個別に訓練された神経推定器とのギャップを埋める一方で、異なるデータ次元とサンプル濃度をネイティブにサポートし、科学領域をまたいだゼロショットMI分析を可能にすることを示す。

関連論文リスト

• Distributional Training Data Attribution: What do Influence Functions Sample? [25.257922996567178]
  分散学習データ属性(d-TDA)を導入する。 d-TDAの目標は、モデル出力の分布がデータセットに依存するかを予測することである。 影響関数 (IF) は「秘密分布」である。
  論文  参考訳（メタデータ） (2025-06-15T21:02:36Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Universality in Transfer Learning for Linear Models [18.427215139020625]
  本稿では,回帰モデルと二分分類モデルの両方において,伝達学習と微調整の問題について検討する。 特に,事前訓練した重み付き線形モデル上での勾配降下(SGD)の利用と,目標分布から設定した小さなトレーニングデータセットについて検討する。
  論文  参考訳（メタデータ） (2024-10-03T03:09:09Z)
• Statistically Optimal Generative Modeling with Maximum Deviation from the Empirical Distribution [2.1146241717926664]
  本稿では, 左非可逆なプッシュフォワード写像に制約されたワッサーシュタインGANが, 複製を回避し, 経験的分布から著しく逸脱する分布を生成することを示す。 我々の最も重要な寄与は、生成分布と経験的分布の間のワッサーシュタイン-1距離の有限サンプル下界を与える。 また、生成分布と真のデータ生成との距離に有限サンプル上限を確立する。
  論文  参考訳（メタデータ） (2023-07-31T06:11:57Z)
• Beyond Normal: On the Evaluation of Mutual Information Estimators [52.85079110699378]
  そこで本研究では,既知の地道的相互情報を用いて,多種多様な分布群を構築する方法について述べる。 本稿では,問題の難易度に適応した適切な推定器の選択方法について,実践者のためのガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-06-19T17:26:34Z)
• Robust White Matter Hyperintensity Segmentation on Unseen Domain [5.490618192331097]
  テスト分布に関する知識のないモデルをトレーニングするドメイン一般化(DG)の難問について考察する。 ホワイトマターハイパーインテンシティ(WMH)予測のタスクには,マルチサイトWMHチャレンジデータセットと当社のローカル社内データセットを用いて焦点を当てる。 機械的に異なる2つのDGアプローチ、すなわちドメイン対比学習とミックスアップが理論的相乗効果を持つかを特定する。
  論文  参考訳（メタデータ） (2021-02-12T17:44:11Z)
• WILDS: A Benchmark of in-the-Wild Distribution Shifts [157.53410583509924]
  分散シフトは、ワイルドにデプロイされた機械学習システムの精度を実質的に低下させることができる。 分散シフトの多様な範囲を反映した8つのベンチマークデータセットのキュレーションコレクションであるWILDSを紹介します。 本研究は, 標準訓練の結果, 分布性能よりも, 分布域外性能が有意に低下することを示す。
  論文  参考訳（メタデータ） (2020-12-14T11:14:56Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。