論文の概要: High-Dimensional Multi-Task Averaging and Application to Kernel Mean Embedding

• arxiv url: http://arxiv.org/abs/2011.06794v1
• Date: Fri, 13 Nov 2020 07:31:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-25 23:16:31.948683
• Title: High-Dimensional Multi-Task Averaging and Application to Kernel Mean Embedding
• Title（参考訳）: 高次元マルチタスク平均化とカーネル平均埋め込みへの応用
• Authors: Hannah Marienwald (TUB), Jean-Baptiste Fermanian (ENS Rennes), Gilles Blanchard (DATASHAPE, LMO, CNRS)
• Abstract要約: マルチタスク平均化問題に対する改善された推定器を提案する。 我々は、この手法が平均二乗誤差の低減をもたらすことを理論的に証明する。 このアプローチの応用は、複数のカーネルの平均埋め込みの推定である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an improved estimator for the multi-task averaging problem, whose goal is the joint estimation of the means of multiple distributions using separate, independent data sets. The naive approach is to take the empirical mean of each data set individually, whereas the proposed method exploits similarities between tasks, without any related information being known in advance. First, for each data set, similar or neighboring means are determined from the data by multiple testing. Then each naive estimator is shrunk towards the local average of its neighbors. We prove theoretically that this approach provides a reduction in mean squared error. This improvement can be significant when the dimension of the input space is large, demonstrating a "blessing of dimensionality" phenomenon. An application of this approach is the estimation of multiple kernel mean embeddings, which plays an important role in many modern applications. The theoretical results are verified on artificial and real world data.
• Abstract（参考訳）: 本稿では,個別の独立データセットを用いた複数分布の同時推定を目標としたマルチタスク平均化問題に対する推定法の改良を提案する。 ナイーブなアプローチは、各データセットの実証的平均を個別に取ることであるが、提案手法では、事前の情報を知らずにタスク間の類似性を利用する。 まず、各データセットについて、類似又は隣接手段を複数のテストによりデータから判定する。 すると、各ナイーブ推定器は隣人の局所平均に向かって縮小される。 このアプローチが平均二乗誤差の低減をもたらすことを理論的に証明する。 この改善は、入力空間の次元が大きい場合に重要となり、「次元の祝福」現象を示す。 このアプローチの応用は、複数のカーネル平均埋め込みの推定であり、現代の多くのアプリケーションにおいて重要な役割を果たす。 理論結果は、人工および実世界のデータで検証される。

関連論文リスト

• Mutual Information Multinomial Estimation [53.58005108981247]
  相互情報(MI)の推定は、データサイエンスと機械学習の基本的な課題である。 我々の主な発見は、データ分布の予備的な推定が、劇的に予測に役立ちます。 非ガウス的合成問題を含む多種多様な課題に対する実験は,本手法の利点を実証している。
  論文  参考訳（メタデータ） (2024-08-18T06:27:30Z)
• Deriving Causal Order from Single-Variable Interventions: Guarantees & Algorithm [14.980926991441345]
  介入データを含むデータセットは,データ分布に関する現実的な仮定の下で効果的に抽出可能であることを示す。 観察的および介入的設定における各変数の限界分布の比較に依拠する介入忠実性を導入する。 また、多数の単一変数の介入を含むデータセットから因果順序を推測するアルゴリズムであるIntersortを導入する。
  論文  参考訳（メタデータ） (2024-05-28T16:07:17Z)
• Distributed Semi-Supervised Sparse Statistical Inference [6.685997976921953]
  縮退推定器は高次元モデルパラメータの統計的推測において重要なツールである。 従来の手法では、すべてのマシンで偏りのある推定器を計算する必要がある。 ラベル付きデータと非ラベル付きデータを統合した効率的なマルチラウンド分散脱バイアス推定器を開発した。
  論文  参考訳（メタデータ） (2023-06-17T17:30:43Z)
• Fairness in Multi-Task Learning via Wasserstein Barycenters [0.0]
  アルゴリズムフェアネス(英: Algorithmic Fairness)は、データのバイアスを減らすことを目的とした機械学習の確立された分野である。 我々は,マルチマルジナル・ワッサースタイン・バリセンタを用いたマルチタスク学習に対して,Strong Demographic Parityの定義を拡張した手法を開発した。 提案手法は回帰および二項分類タスクを含む最適フェアマルチタスク予測器に対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-06-16T19:53:34Z)
• Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
  私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。 私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
  論文  参考訳（メタデータ） (2022-07-19T12:52:33Z)
• Deep Learning with Multiple Data Set: A Weighted Goal Programming Approach [2.7393821783237184]
  大規模データ分析は、我々の社会でデータが増大するにつれて、指数的な速度で成長している。 ディープラーニングモデルはたくさんのリソースを必要とし、分散トレーニングが必要です。 本稿では,分散学習のためのマルチ基準アプローチを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:10:25Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Effective Data-aware Covariance Estimator from Compressed Data [63.16042585506435]
  本研究では,データ対応重み付きサンプリングベース共分散行列推定器,すなわち DACE を提案し,非バイアス共分散行列推定を行う。 我々は、DACEの優れた性能を示すために、合成データセットと実世界のデータセットの両方で広範な実験を行う。
  論文  参考訳（メタデータ） (2020-10-10T10:10:28Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。