論文の概要: Neural Methods for Point-wise Dependency Estimation

• arxiv url: http://arxiv.org/abs/2006.05553v4
• Date: Thu, 15 Oct 2020 03:55:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 14:36:24.391962
• Title: Neural Methods for Point-wise Dependency Estimation
• Title（参考訳）: 点依存推定のためのニューラル手法
• Authors: Yao-Hung Hubert Tsai, Han Zhao, Makoto Yamada, Louis-Philippe Morency, Ruslan Salakhutdinov
• Abstract要約: 我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
• 参考スコア（独自算出の注目度）: 129.93860669802046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since its inception, the neural estimation of mutual information (MI) has demonstrated the empirical success of modeling expected dependency between high-dimensional random variables. However, MI is an aggregate statistic and cannot be used to measure point-wise dependency between different events. In this work, instead of estimating the expected dependency, we focus on estimating point-wise dependency (PD), which quantitatively measures how likely two outcomes co-occur. We show that we can naturally obtain PD when we are optimizing MI neural variational bounds. However, optimizing these bounds is challenging due to its large variance in practice. To address this issue, we develop two methods (free of optimizing MI variational bounds): Probabilistic Classifier and Density-Ratio Fitting. We demonstrate the effectiveness of our approaches in 1) MI estimation, 2) self-supervised representation learning, and 3) cross-modal retrieval task.
• Abstract（参考訳）: その開始以来、相互情報(mi)のニューラル推定は、高次元確率変数間の期待依存性をモデル化する経験的成功を示している。 しかし、MIは集計統計量であり、異なるイベント間のポイントワイズ依存を測定するには使用できない。 本研究では,期待される依存性を見積もる代わりに,2つの結果が共起する確率を定量的に測定する点依存性(PD)の推定に焦点をあてる。 MIニューラル変動境界を最適化する場合に自然にPDが得られることを示す。 しかし、これらの境界の最適化は、実際には大きなばらつきのため困難である。 この問題に対処するため、確率的分類法と密度比フィッティングという2つの手法(MI変動境界を最適化しない)を開発した。 我々は我々のアプローチの有効性を実証する。 1)MI推定。 2)自己指導型表現学習,及び 3)クロスモーダル検索タスク。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• MINDE: Mutual Information Neural Diffusion Estimation [7.399561232927219]
  確率変数間の相互情報(MI)を推定するための新しい手法を提案する。 スコアベース拡散モデルを用いて、スコア関数間の差分として2つの密度間のクルバック・リーブラーの偏差を推定する。 副産物として,確率変数のエントロピーの推定も可能である。
  論文  参考訳（メタデータ） (2023-10-13T11:47:41Z)
• Max-Sliced Mutual Information [17.667315953598788]
  高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。 2つの古典的手法は正準相関解析 (CCA) であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は普遍的依存度である。 本研究は、最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。
  論文  参考訳（メタデータ） (2023-09-28T06:49:25Z)
• Diffeomorphic Information Neural Estimation [2.566492438263125]
  Mutual Information (MI) と Conditional Mutual Information (CMI) は情報理論の多目的ツールである。 DINE (Diffomorphic Information Neural Estorimator) は連続確率変数のCMIを推定するための新しい手法である。 興味のある変数は、より単純な分布に従う適切なサロゲートに置き換えることができることを示す。
  論文  参考訳（メタデータ） (2022-11-20T03:03:56Z)
• Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes [65.91730154730905]
  医療や教育などの観察データへのオフライン強化学習の適用においては、観察された行動は観測されていない要因に影響される可能性があるという一般的な懸念がある。 ここでは、部分的に観察されたマルコフ決定過程(POMDP)における非政治評価を考慮し、この問題に取り組む。 我々は、近位因果推論の枠組みをPOMDP設定に拡張し、識別が可能となる様々な設定を提供する。
  論文  参考訳（メタデータ） (2021-10-28T17:46:14Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• Reducing the Variance of Variational Estimates of Mutual Information by Limiting the Critic's Hypothesis Space to RKHS [0.0]
  相互情報(英: Mutual Information、MI)は、2つの確率変数間の依存性に関する情報理論の尺度である。 近年の手法では、未知密度比を近似するニューラルネットワークとしてパラメトリック確率分布や批判が実現されている。 我々は、高分散特性は、批評家の仮説空間の制御不能な複雑さに起因すると論じる。
  論文  参考訳（メタデータ） (2020-11-17T14:32:48Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。