Fugu-MT 論文翻訳(概要): Beyond Top-Class Agreement: Using Divergences to Forecast Performance under Distribution Shift

論文の概要: Beyond Top-Class Agreement: Using Divergences to Forecast Performance under Distribution Shift

arxiv url: http://arxiv.org/abs/2312.08033v1
Date: Wed, 13 Dec 2023 10:19:58 GMT
ステータス: 処理完了
システム内更新日: 2023-12-14 15:44:45.282933
Title: Beyond Top-Class Agreement: Using Divergences to Forecast Performance under Distribution Shift
Title（参考訳）: トップクラスの合意を超えて:分散シフトによるパフォーマンス予測にダイバージェンスを使う
Authors: Mona Schirmer, Dan Zhang, Eric Nalisnick
Abstract要約: 完全な予測分布を考慮した不一致概念について検討する。分散度に基づくスコアは, アウト・オブ・ディストリビューションデータに対して, より良いテスト誤差推定と検出率を提供する。
参考スコア（独自算出の注目度）: 4.775181247960274
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Knowing if a model will generalize to data 'in the wild' is crucial for safe deployment. To this end, we study model disagreement notions that consider the full predictive distribution - specifically disagreement based on Hellinger distance, Jensen-Shannon and Kullback-Leibler divergence. We find that divergence-based scores provide better test error estimates and detection rates on out-of-distribution data compared to their top-1 counterparts. Experiments involve standard vision and foundation models.
Abstract（参考訳）: モデルが‘野生の’データに一般化するかどうかを知ることは、安全なデプロイメントに不可欠です。そこで本研究では,Helinger 距離,Jensen-Shannon およびKullback-Leibler の発散に基づく完全予測分布を考慮したモデル不一致概念について検討する。分散度に基づくスコアは,トップ1のスコアと比較して,分布外データに対するテスト誤差推定と検出率に優れることがわかった。実験には標準的なビジョンと基礎モデルが含まれる。

関連論文リスト

Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文参考訳（メタデータ） (2024-10-17T16:42:12Z)
Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文参考訳（メタデータ） (2024-05-29T01:32:17Z)
Quantifying Distribution Shifts and Uncertainties for Enhanced Model Robustness in Machine Learning Applications [0.0]
本研究では,合成データを用いたモデル適応と一般化について検討する。我々は、データ類似性を評価するために、Kullback-Leiblerの発散、Jensen-Shannon距離、Mahalanobis距離などの量的尺度を用いる。本研究は,マハラノビス距離などの統計指標を用いて,モデル予測が低誤差の「補間体制」内にあるか,あるいは高誤差の「補間体制」が分布変化とモデル不確実性を評価するための補完的手法を提供することを示唆している。
論文参考訳（メタデータ） (2024-05-03T10:05:31Z)
Performative Prediction with Neural Networks [24.880495520422]
パフォーマンス予測は、予測するデータに影響を与えるモデルを学習するためのフレームワークである。繰り返しリスク最小化法を用いて、性能的に安定な分類器を見つけるための標準収束結果は、データの分布がモデルのパラメータに連続であることを仮定する。この研究では、データ分布はモデルの予測に関してリプシッツ連続であると仮定する。
論文参考訳（メタデータ） (2023-04-14T01:12:48Z)
A Statistical Model for Predicting Generalization in Few-Shot Classification [6.158812834002346]
一般化誤差を予測するために,特徴分布のガウスモデルを導入する。提案手法は, 相互検証戦略の離脱など, 代替案よりも優れていることを示す。
論文参考訳（メタデータ） (2022-12-13T10:21:15Z)
Predicting with Confidence on Unseen Distributions [90.68414180153897]
ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
論文参考訳（メタデータ） (2021-07-07T15:50:18Z)
Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文参考訳（メタデータ） (2021-06-22T18:29:58Z)
Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文参考訳（メタデータ） (2020-06-26T13:50:19Z)
Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。