論文の概要: A Non-isotropic Probabilistic Take on Proxy-based Deep Metric Learning
- arxiv url: http://arxiv.org/abs/2207.03784v1
- Date: Fri, 8 Jul 2022 09:34:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-12 11:02:42.884948
- Title: A Non-isotropic Probabilistic Take on Proxy-based Deep Metric Learning
- Title（参考訳）: プロキシに基づくDeep Metric Learningにおける非等方的確率的考察
- Authors: Michael Kirchhof, Karsten Roth, Zeynep Akata, Enkelejda Kasneci
- Abstract要約: プロキシベースのDeep Metric Learningは、クラス代表者(プロキシ)に画像を埋め込むことで学習する
さらに、プロキシベースのDMLは、クラス内部構造を学ぶのに苦労している。
両問題に対処するために,非等方的確率的プロキシベースDMLを導入する。
- 参考スコア（独自算出の注目度）: 49.999268109518255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Proxy-based Deep Metric Learning (DML) learns deep representations by
embedding images close to their class representatives (proxies), commonly with
respect to the angle between them. However, this disregards the embedding norm,
which can carry additional beneficial context such as class- or image-intrinsic
uncertainty. In addition, proxy-based DML struggles to learn class-internal
structures. To address both issues at once, we introduce non-isotropic
probabilistic proxy-based DML. We model images as directional von Mises-Fisher
(vMF) distributions on the hypersphere that can reflect image-intrinsic
uncertainties. Further, we derive non-isotropic von Mises-Fisher (nivMF)
distributions for class proxies to better represent complex class-specific
variances. To measure the proxy-to-image distance between these models, we
develop and investigate multiple distribution-to-point and
distribution-to-distribution metrics. Each framework choice is motivated by a
set of ablational studies, which showcase beneficial properties of our
probabilistic approach to proxy-based DML, such as uncertainty-awareness,
better-behaved gradients during training, and overall improved generalization
performance. The latter is especially reflected in the competitive performance
on the standard DML benchmarks, where our approach compares favorably,
suggesting that existing proxy-based DML can significantly benefit from a more
probabilistic treatment. Code is available at
github.com/ExplainableML/Probabilistic_Deep_Metric_Learning.
- Abstract（参考訳）: プロキシベースのDeep Metric Learning (DML)は、クラス代表者(プロキシ)に画像を埋め込むことで、その間の角度に関して、ディープ表現を学習する。
しかし、これは埋め込みノルムを無視し、クラスやイメージイントリックの不確実性のような追加の有益なコンテキストをもたらすことができる。
さらに、プロキシベースのDMLは、クラス内部構造を学ぶのに苦労している。
両問題を同時に解決するために,非等方的確率的プロキシベースDMLを導入する。
画像内不確かさを反映できる超球面上の方向のvon Mises-Fisher(vMF)分布をモデル化する。
さらに、クラスプロキシに対する非等方的フォン・ミゼス・フィッシャー(nivMF)分布を導出し、より複雑なクラス固有の分散を表現する。
これらのモデル間のプロキシ-イメージ間距離を測定するために,複数の分散-ポイント間および分散間メトリクスを開発し,検討する。
各フレームワークの選択は一連のアブレーション研究によって動機付けられ、これは、不確実性認識、トレーニング中のより良いグラデーション、全体的な一般化性能の改善など、プロキシベースのDMLに対する確率論的アプローチの有益な特性を示す。
後者は、標準的なDMLベンチマークの競合性能に特に反映されており、我々のアプローチは好意的に比較され、既存のプロキシベースのDMLはより確率的な処理の恩恵を受けることが示唆されている。
コードはgithub.com/ExplainableML/Probabilistic_Deep_Metric_Learningで入手できる。
関連論文リスト
- Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Towards Improved Proxy-based Deep Metric Learning via Data-Augmented
Domain Adaptation [15.254782791542329]
本稿では,プロキシに基づくDeep Metric Learningフレームワークを提案する。
本稿では,データ拡張ドメイン適応法(Data-Augmented Domain Adaptation, DADA)を提案する。
一般的なCUB-200-2011を含むベンチマーク実験により,我々の学習アルゴリズムは既存のプロキシ損失を大幅に改善することを示した。
論文 参考訳（メタデータ） (2024-01-01T00:10:58Z) - Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。
我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
論文 参考訳（メタデータ） (2023-10-22T04:06:44Z) - ProbVLM: Probabilistic Adapter for Frozen Vision-Language Models [69.50316788263433]
本稿では,事前学習された視覚言語モデルの埋め込みに対する確率分布を推定する確率的アダプタProbVLMを提案する。
本稿では,検索タスクにおける不確実性埋め込みのキャリブレーションを定量化し,ProbVLMが他の手法よりも優れていることを示す。
本稿では,大規模な事前学習型潜伏拡散モデルを用いて,埋め込み分布を可視化する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-07-01T18:16:06Z) - Deep Metric Learning with Soft Orthogonal Proxies [1.823505080809275]
本稿では,プロキシにソフト直交性(SO)制約を導入する新しいアプローチを提案する。
提案手法では,DMLの目的と合わせて,画像からコンテキスト特徴を抽出するエンコーダとして,データ効率の良い画像変換器(DeiT)を利用する。
提案手法が最先端手法よりも有意なマージンで優れていることを示す。
論文 参考訳（メタデータ） (2023-06-22T17:22:15Z) - Deep Metric Learning with Chance Constraints [6.965621436414179]
ディープ・メトリック・ラーニング (DML) は, 組込み空間における対方向/クラス間近接違反の期待損失を実証することを目的としている。
我々は,プロキシベースのDMLの最小化は一定の確率制約を満たすことを示し,最悪の場合の一般化に基づく手法は,クラスプロキシの周辺にある最小の球の半径が対応するクラスサンプルの領域全体をカバーすることで特徴付けられることを示した。
論文 参考訳（メタデータ） (2022-09-19T14:50:48Z) - Learning with Stochastic Orders [25.795107089736295]
高次元分布の学習は、しばしば、積分確率メトリクス(IPMs)による明示的な可能性モデリングまたは暗黙的なモデリングによって行われる。
我々はIPMsationalの代替として使用できる確率測度間のChoquet-Toland距離を導入する。
また、変動支配基準(VDC)を導入し、支配制約のある確率測度を学習する。
論文 参考訳（メタデータ） (2022-05-27T00:08:03Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Non-isotropy Regularization for Proxy-based Deep Metric Learning [78.18860829585182]
本稿では,プロキシに基づくDeep Metric Learningのための非等方正則化(mathbbNIR$)を提案する。
これにより、プロキシの周囲のサンプルの非等方分布を明示的に誘導して最適化することが可能になる。
実験では、競争力と最先端のパフォーマンスを達成しながら、$mathbbNIR$の一貫性のある一般化の利点を強調している。
論文 参考訳（メタデータ） (2022-03-16T11:13:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。