論文の概要: A Benchmark Suite for Evaluating Neural Mutual Information Estimators on Unstructured Datasets

• arxiv url: http://arxiv.org/abs/2410.10924v1
• Date: Mon, 14 Oct 2024 14:22:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:04:44.036539
• Title: A Benchmark Suite for Evaluating Neural Mutual Information Estimators on Unstructured Datasets
• Title（参考訳）: 非構造化データセット上でのニューラル・ミューチュアル・インフォメータ評価のためのベンチマーク・スイート
• Authors: Kyungeun Lee, Wonjong Rhee,
• Abstract要約: 相互情報(MI)は、2つの確率変数間の依存性を定量化するための基本的な指標である。 本研究では、非構造化データセット上でのニューラルMI推定値を評価するための総合ベンチマークスイートを提案する。
• 参考スコア（独自算出の注目度）: 3.2228025627337864
• License:
• Abstract: Mutual Information (MI) is a fundamental metric for quantifying dependency between two random variables. When we can access only the samples, but not the underlying distribution functions, we can evaluate MI using sample-based estimators. Assessment of such MI estimators, however, has almost always relied on analytical datasets including Gaussian multivariates. Such datasets allow analytical calculations of the true MI values, but they are limited in that they do not reflect the complexities of real-world datasets. This study introduces a comprehensive benchmark suite for evaluating neural MI estimators on unstructured datasets, specifically focusing on images and texts. By leveraging same-class sampling for positive pairing and introducing a binary symmetric channel trick, we show that we can accurately manipulate true MI values of real-world datasets. Using the benchmark suite, we investigate seven challenging scenarios, shedding light on the reliability of neural MI estimators for unstructured datasets.
• Abstract（参考訳）: 相互情報(MI)は、2つの確率変数間の依存性を定量化するための基本的な指標である。 サンプルのみにアクセスできるが、基礎となる分布関数にはアクセスできない場合、サンプルベース推定器を用いてMIを評価することができる。 しかし、そのようなMI推定器の評価は、ほぼ常にガウス多変量を含む分析的データセットに依存している。 このようなデータセットは真のMI値の解析的な計算を可能にするが、実世界のデータセットの複雑さを反映しないという点で制限されている。 本研究では、非構造化データセット上でのニューラルMI推定器の評価のための総合的なベンチマークスイートを紹介し、特に画像とテキストに焦点を当てる。 同級サンプリングを正のペアリングに利用し、二進対称チャネルトリックを導入することにより、実世界のデータセットの真のMI値を正確に操作できることが示される。 ベンチマークスイートを用いて、7つの困難なシナリオを調査し、非構造化データセットに対するニューラルMI推定器の信頼性に光を当てる。

関連論文リスト

• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Sparse Bayesian Multidimensional Item Response Theory [0.0]
  我々は,大規模なデータセットに対して最小限のチューニングとスケールを必要とする二項および順序項目MIRTのためのベイズプラットフォームを開発する。 ベイズ非パラメトリックスによるツールによる未知の潜在因子次元の問題に対処する。 本手法は, 微小サンプルにおいても高次元合成データの因子次元と潜時構造の両方を確実に回収する。
  論文  参考訳（メタデータ） (2023-10-26T23:50:50Z)
• On the Evaluation and Refinement of Vision-Language Instruction Tuning Datasets [71.54954966652286]
  VLIT(Vision-Language Instruction-Tuning)データセットの評価を試みる。 各データセットから高いSQのサンプルを収集し,新しいデータセットREVO-LIONを構築した。 注目すべきは、完全なデータの半分でなくても、REVO-LIONでトレーニングされたモデルは、単にすべてのVLITデータセットを追加するのに匹敵するパフォーマンスを達成することができることだ。
  論文  参考訳（メタデータ） (2023-10-10T13:01:38Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Diffeomorphic Information Neural Estimation [2.566492438263125]
  Mutual Information (MI) と Conditional Mutual Information (CMI) は情報理論の多目的ツールである。 DINE (Diffomorphic Information Neural Estorimator) は連続確率変数のCMIを推定するための新しい手法である。 興味のある変数は、より単純な分布に従う適切なサロゲートに置き換えることができることを示す。
  論文  参考訳（メタデータ） (2022-11-20T03:03:56Z)
• A robust estimator of mutual information for deep learning interpretability [2.574652392763709]
  本稿では,離散的かつ連続的な設定にも適用可能なアルゴリズムGMM-MIを提案する。 我々は,GMM-MIを具体的真理MIが知られている玩具データに基づいて広範囲に検証する。 次に、表現学習の文脈におけるMI推定器の使用例を示す。
  論文  参考訳（メタデータ） (2022-10-31T18:00:02Z)
• Investigating Data Variance in Evaluations of Automatic Machine Translation Metrics [58.50754318846996]
  本稿では,メトリクスのパフォーマンスがデータに敏感であることを示す。 メトリクスのランキングは、異なるデータセットで評価が行われると異なる。
  論文  参考訳（メタデータ） (2022-03-29T18:58:28Z)
• RIFLE: Imputation and Robust Inference from Low Order Marginals [10.082738539201804]
  我々は,不備なデータの存在下での回帰と分類のための統計的推論フレームワークを開発する。 我々のフレームワークであるRIFLEは、基礎となるデータ分布の低次モーメントを対応する信頼区間で推定し、分布的に堅牢なモデルを学ぶ。 実験の結果,RIFLEは,欠落値の割合が高い場合や,データポイント数が比較的小さい場合には,他のベンチマークアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-09-01T23:17:30Z)
• Doing Great at Estimating CATE? On the Neglected Assumptions in Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
  もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。 異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。 ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
  論文  参考訳（メタデータ） (2021-07-28T13:21:27Z)
• CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems [121.78477833009671]
  データセット間設定下での様々な要約モデルの性能について検討する。 異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
  論文  参考訳（メタデータ） (2020-10-11T02:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。