論文の概要: Characterizing Generalization under Out-Of-Distribution Shifts in Deep
Metric Learning
- arxiv url: http://arxiv.org/abs/2107.09562v1
- Date: Tue, 20 Jul 2021 15:26:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-21 15:06:56.415708
- Title: Characterizing Generalization under Out-Of-Distribution Shifts in Deep
Metric Learning
- Title(参考訳): Deep Metric Learningにおける外部分布シフトに基づく一般化の特徴付け
- Authors: Timo Milbich, Karsten Roth, Samarth Sinha, Ludwig Schmidt, Marzyeh
Ghassemi, Bj\"orn Ommer
- Abstract要約: 本稿では,DMLにおける分布外シフトの下での一般化を特徴付けるために,ooDMLベンチマークを提案する。
ooDMLは、より困難で多様な列車間分散シフトにおいて、一般化性能を調査するために設計されている。
一般化は難易度に常に低下する傾向にあるが, 分散シフトが増加するにつれて, 性能が向上する手法もある。
- 参考スコア(独自算出の注目度): 32.51394862932118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Metric Learning (DML) aims to find representations suitable for
zero-shot transfer to a priori unknown test distributions. However, common
evaluation protocols only test a single, fixed data split in which train and
test classes are assigned randomly. More realistic evaluations should consider
a broad spectrum of distribution shifts with potentially varying degree and
difficulty. In this work, we systematically construct train-test splits of
increasing difficulty and present the ooDML benchmark to characterize
generalization under out-of-distribution shifts in DML. ooDML is designed to
probe the generalization performance on much more challenging, diverse
train-to-test distribution shifts. Based on our new benchmark, we conduct a
thorough empirical analysis of state-of-the-art DML methods. We find that while
generalization tends to consistently degrade with difficulty, some methods are
better at retaining performance as the distribution shift increases. Finally,
we propose few-shot DML as an efficient way to consistently improve
generalization in response to unknown test shifts presented in ooDML. Code
available here:
https://github.com/Confusezius/Characterizing_Generalization_in_DeepMetricLearning.
- Abstract(参考訳): Deep Metric Learning (DML)は、未知のテストディストリビューションへのゼロショット転送に適した表現を見つけることを目的としている。
しかしながら、一般的な評価プロトコルは、トレーニングクラスとテストクラスがランダムに割り当てられる単一の固定データ分割のみをテストする。
より現実的な評価は、潜在的に異なる程度と難易度で幅広い分布シフトを考慮するべきである。
本研究では,DMLにおける配布外シフトの一般化を特徴付けるために,難易度を増大させる列車-試験分割を体系的に構築し,ooDMLベンチマークを示す。
ooDMLは、より困難で多様な列車間分散シフトにおいて、一般化性能を調査するために設計されている。
新しいベンチマークに基づいて、最先端のDML手法の徹底的な実験分析を行う。
一般化は難易度に常に低下する傾向にあるが, 分散シフトが増加するにつれて, 性能が向上する手法もある。
最後に、ooDMLで表される未知のテストシフトに応答して、最適化を継続的に改善する効率的な方法として、少数ショットDMLを提案する。
コードはhttps://github.com/confusezius/characterizing_generalization_in_deepmetriclearning。
関連論文リスト
- Invariant Anomaly Detection under Distribution Shifts: A Causal
Perspective [6.845698872290768]
異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。
分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。
我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
論文 参考訳(メタデータ) (2023-12-21T23:20:47Z) - Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。
我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
論文 参考訳(メタデータ) (2023-10-22T04:06:44Z) - Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。
提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
論文 参考訳(メタデータ) (2023-06-14T08:00:49Z) - Anomaly Detection under Distribution Shift [24.094884041252044]
異常検出(AD)は、通常のトレーニングサンプルのセットからパターンを学習し、テストデータの異常サンプルを特定することを目的とした、重要な機械学習タスクである。
既存のAD研究の多くは、トレーニングデータとテストデータは同一のデータ分布から引き出されると仮定しているが、テストデータは大きな分散シフトを持つ可能性がある。
トレーニングおよび推論段階のOOD標準試料の分布ギャップを最小化することにより, 多様な分布シフトに対する新しいロバストADアプローチを導入する。
論文 参考訳(メタデータ) (2023-03-24T07:39:08Z) - Addressing Distribution Shift at Test Time in Pre-trained Language
Models [3.655021726150369]
State-of-the-the-art pre-trained Language Model (PLM)は、多くの言語処理タスクに適用された場合、他のモデルよりも優れている。
PLMは分散シフト下で性能が低下することが判明した。
本研究では,分散シフト下での試験時間におけるPLMの性能を向上させる手法を提案する。
論文 参考訳(メタデータ) (2022-12-05T16:04:54Z) - Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。
BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
論文 参考訳(メタデータ) (2022-08-22T09:07:02Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Unified Regularity Measures for Sample-wise Learning and Generalization [18.10522585996242]
本稿では,定式化整合表現を用いた2つのプロセスのサンプル正則度尺度を提案する。
ミニバッチSGD最適化のための提案手法の有効性とロバスト性を検証する実験を行った。
論文 参考訳(メタデータ) (2021-08-09T10:11:14Z) - GANs with Variational Entropy Regularizers: Applications in Mitigating
the Mode-Collapse Issue [95.23775347605923]
深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。
GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。
情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
論文 参考訳(メタデータ) (2020-09-24T19:34:37Z) - MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。
玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
論文 参考訳(メタデータ) (2020-06-18T07:38:54Z) - Revisiting Training Strategies and Generalization Performance in Deep
Metric Learning [28.54755295856929]
我々は、最も広く使われているDML目的関数を再検討し、重要なパラメータ選択について検討する。
一貫した比較では、DMLの目的は文学で示されるよりもはるかに高い飽和を示す。
これらの知見を公開し、ランキングベースのDMLモデルの性能を確実に向上させるために、単純かつ効果的に正規化を訓練することを提案する。
論文 参考訳(メタデータ) (2020-02-19T22:16:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。