論文の概要: DiME: Maximizing Mutual Information by a Difference of Matrix-Based Entropies

• arxiv url: http://arxiv.org/abs/2301.08164v1
• Date: Thu, 19 Jan 2023 16:56:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-20 14:41:43.855017
• Title: DiME: Maximizing Mutual Information by a Difference of Matrix-Based Entropies
• Title（参考訳）: DiME:マトリックスベースのエントロピーの違いによる相互情報の最大化
• Authors: Oscar Skean, Jhoan Keider Hoyos Osorio, Austin J. Brockmeier, Luis Gonzalo Sanchez Giraldo
• Abstract要約: データから推定できる相互情報に類似した特性を持つ情報理論量を導入する。 行列ベースのエントロピー(DiME)の違いは、確率変数間の相互情報を再現する問題によく適していることを示す。
• 参考スコア（独自算出の注目度）: 0.9053163124987534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce an information-theoretic quantity with similar properties to mutual information that can be estimated from data without making explicit assumptions on the underlying distribution. This quantity is based on a recently proposed matrix-based entropy that uses the eigenvalues of a normalized Gram matrix to compute an estimate of the eigenvalues of an uncentered covariance operator in a reproducing kernel Hilbert space. We show that a difference of matrix-based entropies (DiME) is well suited for problems involving maximization of mutual information between random variables. While many methods for such tasks can lead to trivial solutions, DiME naturally penalizes such outcomes. We provide several examples of use cases for the proposed quantity including a multi-view representation learning problem where DiME is used to encourage learning a shared representation among views with high mutual information. We also show the versatility of DiME by using it as objective function for a variety of tasks.
• Abstract（参考訳）: 基礎となる分布を明示的に仮定することなく,データから推定可能な相互情報と同様の特性を持つ情報理論量を導入する。 この量は、最近提案された、正規化グラム行列の固有値を用いて、再生核ヒルベルト空間における非中心共分散作用素の固有値の推定を計算する行列ベースのエントロピーに基づいている。 行列に基づくエントロピー(dime)の違いは,確率変数間の相互情報の最大化に関する問題によく適合することを示す。 そのような問題に対する多くの手法は自明な解決につながるが、DMEは自然にそのような結果を罰する。 本稿では,多視点表現学習問題を含む多視点表現学習の事例について,高い相互情報を持つビュー間での共有表現の学習を促すためにDMEを用いた。 また,多種多様なタスクの目的関数として利用することで,DMEの汎用性を示す。

関連論文リスト

• Weakly supervised covariance matrices alignment through Stiefel matrices estimation for MEG applications [64.20396555814513]
  本稿では,Mixing Model Stiefel Adaptation (MSA)と呼ばれる時系列データに対する新しいドメイン適応手法を提案する。 我々は、ドメイン間の等価な信号分散とペアの対応を確立することにより、ターゲット領域における豊富なラベルのないデータを利用して効果的な予測を行う。 MSAは、Cam-CANデータセットのMEG信号を用いて、タスクの変動を伴う脳年齢回帰の最近の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-24T19:04:49Z)
• DCID: Deep Canonical Information Decomposition [84.59396326810085]
  本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。 そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。 また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T16:59:06Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Rank-one matrix estimation with groupwise heteroskedasticity [5.202966939338455]
  本研究では,異なるノイズレベル下で行列の異なるブロックが観測されるガウス観測からランク1行列を推定する問題について検討する。 行列と潜伏変数の両方を推定する際、最小平均二乗誤差の正確な公式を証明した。 我々は、近似メッセージパッシングアルゴリズムと勾配降下アルゴリズムを導出し、これらのアルゴリズムが特定の状況における情報理論的限界を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-06-22T17:48:36Z)
• Entropy Minimizing Matrix Factorization [102.26446204624885]
  NMF(Nonnegative Matrix Factorization)は、広く使用されているデータ分析技術であり、多くの実際のタスクで印象的な結果をもたらしました。 本研究では,上述の問題に対処するために,EMMF (Entropy Minimizing Matrix Factorization framework) を開発した。 通常、外れ値が通常のサンプルよりもはるかに小さいことを考えると、行列分解のために新しいエントロピー損失関数が確立される。
  論文  参考訳（メタデータ） (2021-03-24T21:08:43Z)
• One-shot Distributed Algorithm for Generalized Eigenvalue Problem [23.9525986377055]
  一般化固有値問題(GEP)は、高次元統計モデルの大ファミリーにおいて重要な役割を果たす。 本稿では,GEPのためのワンショット通信を備えた汎用分散GEPフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-22T11:43:16Z)
• Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
  情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。 現実世界の応用にはいくつかの望ましい性質がある。 しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
  論文  参考訳（メタデータ） (2020-10-08T07:22:16Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Information-Theoretic Limits for the Matrix Tensor Product [8.206394018475708]
  本稿では,ランダム行列の行列テンソル積を含む高次元推論問題について検討する。 本稿では,高次元行列保存信号の解析のための新しい手法を紹介する。
  論文  参考訳（メタデータ） (2020-05-22T17:03:48Z)
• Orthogonal Inductive Matrix Completion [25.03115399173275]
  本稿では,正則な側情報項の和に基づいて,行列補完に対する解釈可能なアプローチを提案する。 提案手法は,確率的に収束するアルゴリズムにより最適化する。 我々は,OMICの性能を複数の合成および実データに対して解析する。
  論文  参考訳（メタデータ） (2020-04-03T16:21:23Z)
• Inverse Learning of Symmetries [71.62109774068064]
  2つの潜在部分空間からなるモデルで対称性変換を学ぶ。 我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。 我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-02-07T13:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。