論文の概要: Uniform Kernel Prober

• arxiv url: http://arxiv.org/abs/2502.07369v1
• Date: Tue, 11 Feb 2025 08:43:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:08:54.251500
• Title: Uniform Kernel Prober
• Title（参考訳）: 均一カーネルプローブ
• Authors: Soumya Mukherjee, Bharath K. Sriperumbudur,
• Abstract要約: 我々は、異なる統計モデルで学習した特徴や表現を比較するために、Uniform Kernel Prober (UKP)と呼ばれる擬似メトリックのクラスを開発する。 我々は、下流のカーネルリッジ回帰タスクにおける一般化性能に基づいて、異なるタイプの特徴や表現を識別するUKPの能力を実験的に実証した。
• 参考スコア（独自算出の注目度）: 8.030917052755195
• License:
• Abstract: The ability to identify useful features or representations of the input data based on training data that achieves low prediction error on test data across multiple prediction tasks is considered the key to multitask learning success. In practice, however, one faces the issue of the choice of prediction tasks and the availability of test data from the chosen tasks while comparing the relative performance of different features. In this work, we develop a class of pseudometrics called Uniform Kernel Prober (UKP) for comparing features or representations learned by different statistical models such as neural networks when the downstream prediction tasks involve kernel ridge regression. The proposed pseudometric, UKP, between any two representations, provides a uniform measure of prediction error on test data corresponding to a general class of kernel ridge regression tasks for a given choice of a kernel without access to test data. Additionally, desired invariances in representations can be successfully captured by UKP only through the choice of the kernel function and the pseudometric can be efficiently estimated from $n$ input data samples with $O(\frac{1}{\sqrt{n}})$ estimation error. We also experimentally demonstrate the ability of UKP to discriminate between different types of features or representations based on their generalization performance on downstream kernel ridge regression tasks.
• Abstract（参考訳）: 複数の予測タスクにまたがるテストデータに対する低予測誤差を達成する訓練データに基づいて、入力データの有用な特徴や表現を識別する能力は、マルチタスク学習の成功の鍵と考えられる。 しかし、実際には、予測タスクの選択と、選択したタスクからのテストデータの可用性の問題に直面し、異なる特徴の相対的性能を比較している。 本研究では、下流予測タスクがカーネルリッジ回帰を伴う場合、ニューラルネットワークなどの異なる統計モデルによって学習された特徴や表現を比較するために、Uniform Kernel Prober(UKP)と呼ばれる擬似メトリックのクラスを開発する。 提案したUKPは、任意の2つの表現の間で、テストデータにアクセスせずにカーネルの選択に対して、カーネルリッジ回帰タスクの一般的なクラスに対応するテストデータに対する予測誤差の均一な尺度を提供する。 さらに、表現における所望の不変性は、カーネル関数の選択によってのみUKPによってキャプチャされ、擬似メトリックは$O(\frac{1}{\sqrt{n}})$推定誤差で$n$の入力データサンプルから効率的に推定できる。 また、下流カーネルリッジ回帰タスクにおける一般化性能に基づいて、異なるタイプの特徴や表現を識別するUKPの能力を実験的に示す。

関連論文リスト

• Flexible Heteroscedastic Count Regression with Deep Double Poisson Networks [4.58556584533865]
  本稿ではDDPN(Deep Double Poisson Network)を提案する。 DDPNは既存の離散モデルを大幅に上回っている。 これは様々なカウント回帰データセットに適用できる。
  論文  参考訳（メタデータ） (2024-06-13T16:02:03Z)
• Data-centric Prediction Explanation via Kernelized Stein Discrepancy [14.177012256360635]
  本稿では,KSDの特性を利用した高精度・データ中心記述(HD-Explain)予測法を提案する。 具体的には、KSDはモデル依存データ相関を符号化する訓練モデルのパラメータ化カーネル関数を独自に定義する。 本稿では,HD-Explainが高精度(きめ細かな説明),一貫性,計算効率など,様々な面から既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-22T19:04:02Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
  NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。 まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。 次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:23:20Z)
• A Similarity Measure of Gaussian Process Predictive Distributions [0.0]
  私たちは、予測しようとしている価値を客観的関数に有効に仮定するモデルを使うことに興味があります。 GPs予測分布を比較することができる一連の合成およびベンチマーク実験で実証的な証拠を示す。 この類似度メトリックはベイズ多様体最適化における目的を破棄するのに非常に有用である。
  論文  参考訳（メタデータ） (2021-01-20T10:52:48Z)
• Meta-Learning Stationary Stochastic Process Prediction with Convolutional Neural Processes [32.02612871707347]
  提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。 本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
  論文  参考訳（メタデータ） (2020-07-02T18:25:27Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。