論文の概要: Characterizing Generalization under Out-Of-Distribution Shifts in Deep Metric Learning

• arxiv url: http://arxiv.org/abs/2107.09562v1
• Date: Tue, 20 Jul 2021 15:26:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 15:06:56.415708
• Title: Characterizing Generalization under Out-Of-Distribution Shifts in Deep Metric Learning
• Title（参考訳）: Deep Metric Learningにおける外部分布シフトに基づく一般化の特徴付け
• Authors: Timo Milbich, Karsten Roth, Samarth Sinha, Ludwig Schmidt, Marzyeh Ghassemi, Bj\"orn Ommer
• Abstract要約: 本稿では,DMLにおける分布外シフトの下での一般化を特徴付けるために,ooDMLベンチマークを提案する。 ooDMLは、より困難で多様な列車間分散シフトにおいて、一般化性能を調査するために設計されている。 一般化は難易度に常に低下する傾向にあるが, 分散シフトが増加するにつれて, 性能が向上する手法もある。
• 参考スコア（独自算出の注目度）: 32.51394862932118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Metric Learning (DML) aims to find representations suitable for zero-shot transfer to a priori unknown test distributions. However, common evaluation protocols only test a single, fixed data split in which train and test classes are assigned randomly. More realistic evaluations should consider a broad spectrum of distribution shifts with potentially varying degree and difficulty. In this work, we systematically construct train-test splits of increasing difficulty and present the ooDML benchmark to characterize generalization under out-of-distribution shifts in DML. ooDML is designed to probe the generalization performance on much more challenging, diverse train-to-test distribution shifts. Based on our new benchmark, we conduct a thorough empirical analysis of state-of-the-art DML methods. We find that while generalization tends to consistently degrade with difficulty, some methods are better at retaining performance as the distribution shift increases. Finally, we propose few-shot DML as an efficient way to consistently improve generalization in response to unknown test shifts presented in ooDML. Code available here: https://github.com/Confusezius/Characterizing_Generalization_in_DeepMetricLearning.
• Abstract（参考訳）: Deep Metric Learning (DML)は、未知のテストディストリビューションへのゼロショット転送に適した表現を見つけることを目的としている。 しかしながら、一般的な評価プロトコルは、トレーニングクラスとテストクラスがランダムに割り当てられる単一の固定データ分割のみをテストする。 より現実的な評価は、潜在的に異なる程度と難易度で幅広い分布シフトを考慮するべきである。 本研究では,DMLにおける配布外シフトの一般化を特徴付けるために,難易度を増大させる列車-試験分割を体系的に構築し,ooDMLベンチマークを示す。 ooDMLは、より困難で多様な列車間分散シフトにおいて、一般化性能を調査するために設計されている。 新しいベンチマークに基づいて、最先端のDML手法の徹底的な実験分析を行う。 一般化は難易度に常に低下する傾向にあるが, 分散シフトが増加するにつれて, 性能が向上する手法もある。 最後に、ooDMLで表される未知のテストシフトに応答して、最適化を継続的に改善する効率的な方法として、少数ショットDMLを提案する。 コードはhttps://github.com/confusezius/characterizing_generalization_in_deepmetriclearning。

関連論文リスト

• Understanding the Generalizability of Link Predictors Under Distribution Shifts on Graphs [34.58496513149175]
  多くの人気のあるベンチマークデータセットは、データセットのサンプルが同じ分布から引き出されると仮定している。 構造特性を利用して制御分布シフトを誘導するLP固有データ分割を導入する。 我々は、異なるSOTA LP手法の評価により、シフトの効果を実証的に検証し、その後、これらの手法を一般化手法と組み合わせる。
  論文  参考訳（メタデータ） (2024-06-13T03:47:12Z)
• Harnessing Hierarchical Label Distribution Variations in Test Agnostic Long-tail Recognition [114.96385572118042]
  テストラベルの分布の変動は階層的にグローバルレベルとローカルレベルに分解できると主張している。 ラベル分布の異なるDirichletメタ分布に専門家を割り当てる新しいMoE戦略である$mathsfDirMixE$を提案する。 本稿では,分散に基づく正規化による一般化の促進による目的性を示す。
  論文  参考訳（メタデータ） (2024-05-13T14:24:56Z)
• Enhancing Out-of-Distribution Detection with Multitesting-based Layer-wise Feature Fusion [11.689517005768046]
  アウト・オブ・ディストリビューション(Out-of-distriion)サンプルは、トレーニング分布と比較して、局所的またはグローバルな特徴の変化を示す可能性がある。 本稿では,新しいフレームワーク,Multitesting-based Layer-wise Out-of-Distribution (OOD) を提案する。 本手法は, ベースライン法と比較して, 分布外検出の性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-03-16T04:35:04Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
  本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。 提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-14T08:00:49Z)
• Anomaly Detection under Distribution Shift [24.094884041252044]
  異常検出(AD)は、通常のトレーニングサンプルのセットからパターンを学習し、テストデータの異常サンプルを特定することを目的とした、重要な機械学習タスクである。 既存のAD研究の多くは、トレーニングデータとテストデータは同一のデータ分布から引き出されると仮定しているが、テストデータは大きな分散シフトを持つ可能性がある。 トレーニングおよび推論段階のOOD標準試料の分布ギャップを最小化することにより, 多様な分布シフトに対する新しいロバストADアプローチを導入する。
  論文  参考訳（メタデータ） (2023-03-24T07:39:08Z)
• Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
  本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。 BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
  論文  参考訳（メタデータ） (2022-08-22T09:07:02Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)
• Revisiting Training Strategies and Generalization Performance in Deep Metric Learning [28.54755295856929]
  我々は、最も広く使われているDML目的関数を再検討し、重要なパラメータ選択について検討する。 一貫した比較では、DMLの目的は文学で示されるよりもはるかに高い飽和を示す。 これらの知見を公開し、ランキングベースのDMLモデルの性能を確実に向上させるために、単純かつ効果的に正規化を訓練することを提案する。
  論文  参考訳（メタデータ） (2020-02-19T22:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。