論文の概要: Meta-Learning for Relative Density-Ratio Estimation

• arxiv url: http://arxiv.org/abs/2107.00801v1
• Date: Fri, 2 Jul 2021 02:13:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 13:01:36.712286
• Title: Meta-Learning for Relative Density-Ratio Estimation
• Title（参考訳）: 相対密度比推定のためのメタラーニング
• Authors: Atsutoshi Kumagai and Tomoharu Iwata and Yasuhiro Fujiwara
• Abstract要約: 相対密度比推定(DRE)の既存の方法は、両方の密度から多くのインスタンスを必要とする。 本稿では,関係データセットの知識を用いて,相対密度比を数例から推定する,相対DREのメタラーニング手法を提案する。 提案手法の有効性を,相対的DRE,データセット比較,外乱検出の3つの問題を用いて実証的に実証した。
• 参考スコア（独自算出の注目度）: 59.75321498170363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ratio of two probability densities, called a density-ratio, is a vital quantity in machine learning. In particular, a relative density-ratio, which is a bounded extension of the density-ratio, has received much attention due to its stability and has been used in various applications such as outlier detection and dataset comparison. Existing methods for (relative) density-ratio estimation (DRE) require many instances from both densities. However, sufficient instances are often unavailable in practice. In this paper, we propose a meta-learning method for relative DRE, which estimates the relative density-ratio from a few instances by using knowledge in related datasets. Specifically, given two datasets that consist of a few instances, our model extracts the datasets' information by using neural networks and uses it to obtain instance embeddings appropriate for the relative DRE. We model the relative density-ratio by a linear model on the embedded space, whose global optimum solution can be obtained as a closed-form solution. The closed-form solution enables fast and effective adaptation to a few instances, and its differentiability enables us to train our model such that the expected test error for relative DRE can be explicitly minimized after adapting to a few instances. We empirically demonstrate the effectiveness of the proposed method by using three problems: relative DRE, dataset comparison, and outlier detection.
• Abstract（参考訳）: 密度比と呼ばれる2つの確率密度の比率は、機械学習において重要な量である。 特に、密度比の有界拡大である相対密度比は、その安定性から多くの注目を集めており、外乱検出やデータセット比較といった様々な用途で利用されてきた。 相対密度比推定(DRE)の既存の方法は、両方の密度から多くのインスタンスを必要とする。 しかし、実際には十分なインスタンスは利用できないことが多い。 本稿では,関係データセットの知識を用いて,少数の事例から相対密度比を推定する,相対DREのメタラーニング手法を提案する。 具体的には、いくつかのインスタンスからなる2つのデータセットを与えられた場合、ニューラルネットワークを用いてデータセットの情報を抽出し、相対dreに適したインスタンス埋め込みを得る。 我々は,大域的最適解を閉形式解として得られる埋め込み空間上の線形モデルを用いて相対密度比をモデル化する。 クローズドフォームソリューションはいくつかのインスタンスへの高速かつ効果的な適応を可能にし、その微分可能性により、相対的なDREに対するテストエラーが、少数のインスタンスに適応した後、明示的に最小化できるようにモデルを訓練することができる。 提案手法の有効性を,相対的DRE,データセット比較,外乱検出の3つの問題を用いて実証的に実証した。

関連論文リスト

• A Generalization Theory of Cross-Modality Distillation with Contrastive Learning [49.35244441141323]
  クロスモダリティ蒸留は、限られた知識を含むデータモダリティにとって重要なトピックである。 コントラスト学習に基づくクロスモーダルコントラスト蒸留(CMCD)の一般的な枠組みを定式化する。 我々のアルゴリズムは、様々なモダリティやタスクに対して、2-3%のマージンで既存のアルゴリズムを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-05-06T11:05:13Z)
• Adaptive learning of density ratios in RKHS [3.047411947074805]
  有限個の観測から2つの確率密度の比を推定することは、機械学習と統計学における中心的な問題である。 我々は、再生カーネルヒルベルト空間における真の密度比とモデルの間の正規化ブレグマン偏差を最小化する大規模な密度比推定法を分析する。
  論文  参考訳（メタデータ） (2023-07-30T08:18:39Z)
• Sobolev Space Regularised Pre Density Models [51.558848491038916]
  本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
  論文  参考訳（メタデータ） (2023-07-25T18:47:53Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• LED: Latent Variable-based Estimation of Density [44.055718819650025]
  LED は GAN と密接に関連する新しい生成モデルであり,効率的なサンプリングと高密度推定を可能にする。 我々は,低次元潜伏変数を入力として許容しつつ,生成したサンプルの正確な確率を計算するフローベースジェネレータを構築した。 各種データセットを用いた実験結果から, 得られた試料の精度を保ちながら, 精度の高い推定値が得られた。
  論文  参考訳（メタデータ） (2022-06-23T09:19:11Z)
• Learn from Unpaired Data for Image Restoration: A Variational Bayes Approach [18.007258270845107]
  境界分布から抽出したデータから結合確率密度関数を学習するための深層生成法 LUD-VAE を提案する。 本稿では,LUD-VAEによって生成された合成データを用いて,実世界の画像認識と超分解能タスクに適用し,モデルを訓練する。
  論文  参考訳（メタデータ） (2022-04-21T13:27:17Z)
• Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
  そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。 モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。 提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T06:26:29Z)
• Featurized Density Ratio Estimation [82.40706152910292]
  本研究では,2つの分布を推定前の共通特徴空間にマッピングするために,可逆生成モデルを活用することを提案する。 この偉業化は、学習された入力空間の密度比が任意に不正確な場合、潜在空間において密度が密接な関係をもたらす。 同時に、特徴写像の可逆性は、特徴空間で計算された比が入力空間で計算された比と同値であることを保証する。
  論文  参考訳（メタデータ） (2021-07-05T18:30:26Z)
• Marginalizable Density Models [14.50261153230204]
  本稿では,変数の任意の部分集合の確率,限界,条件に対するクローズドフォーム表現を提供する,新しいディープネットワークアーキテクチャを提案する。 このモデルはまた、変数数に時間複雑性の対数依存しか依存しない並列サンプリングを可能にする。
  論文  参考訳（メタデータ） (2021-06-08T23:54:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。