論文の概要: A unifying mutual information view of metric learning: cross-entropy vs.
pairwise losses
- arxiv url: http://arxiv.org/abs/2003.08983v3
- Date: Fri, 26 Nov 2021 09:56:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 03:29:37.847684
- Title: A unifying mutual information view of metric learning: cross-entropy vs.
pairwise losses
- Title（参考訳）: メトリクス学習の統一的相互情報視点--クロスエントロピー対対対損失
- Authors: Malik Boudiaf, J\'er\^ome Rony, Imtiaz Masud Ziko, Eric Granger, Marco
Pedersoli, Pablo Piantanida, Ismail Ben Ayed
- Abstract要約: 分類における標準のクロスエントロピー損失は,DMLではおおむね見過ごされている。
我々はクロスエントロピーを、よく知られた最近のペアワイズ損失と結びつけている。
その結果,クロスエントロピーは相互情報の最大化のためのプロキシであることがわかった。
- 参考スコア（独自算出の注目度）: 46.8301039523237
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, substantial research efforts in Deep Metric Learning (DML) focused
on designing complex pairwise-distance losses, which require convoluted schemes
to ease optimization, such as sample mining or pair weighting. The standard
cross-entropy loss for classification has been largely overlooked in DML. On
the surface, the cross-entropy may seem unrelated and irrelevant to metric
learning as it does not explicitly involve pairwise distances. However, we
provide a theoretical analysis that links the cross-entropy to several
well-known and recent pairwise losses. Our connections are drawn from two
different perspectives: one based on an explicit optimization insight; the
other on discriminative and generative views of the mutual information between
the labels and the learned features. First, we explicitly demonstrate that the
cross-entropy is an upper bound on a new pairwise loss, which has a structure
similar to various pairwise losses: it minimizes intra-class distances while
maximizing inter-class distances. As a result, minimizing the cross-entropy can
be seen as an approximate bound-optimization (or Majorize-Minimize) algorithm
for minimizing this pairwise loss. Second, we show that, more generally,
minimizing the cross-entropy is actually equivalent to maximizing the mutual
information, to which we connect several well-known pairwise losses.
Furthermore, we show that various standard pairwise losses can be explicitly
related to one another via bound relationships. Our findings indicate that the
cross-entropy represents a proxy for maximizing the mutual information -- as
pairwise losses do -- without the need for convoluted sample-mining heuristics.
Our experiments over four standard DML benchmarks strongly support our
findings. We obtain state-of-the-art results, outperforming recent and complex
DML methods.
- Abstract（参考訳）: 近年、Deep Metric Learning (DML) において、サンプルマイニングやペア重み付けといった最適化を容易にする複雑なスキームを必要とする複雑な対距離損失の設計に重点が置かれている。
分類における標準のクロスエントロピー損失は、DMLではおおむね見過ごされている。
表面上、クロスエントロピーは、ペア距離を明示的に含まないため、計量学習とは無関係に思える。
しかし, 交叉エントロピーと, 最近のペアワイズ損失との関係を理論的に解析した。
ひとつは明示的な最適化の洞察に基づくもので、もうひとつはラベルと学習した特徴の間の相互情報の識別的および生成的視点に基づいています。
まず,クロスエントロピーが,クラス間距離を最大化しながらクラス内距離を最小化しながら,クラス内距離を最小化する,ペア間損失の上限であることを示す。
その結果、クロスエントロピーの最小化は、このペアの損失を最小化する近似的境界最適化(Majorize-Minimize)アルゴリズムと見なすことができる。
第二に、より一般的には、クロスエントロピーの最小化は、複数のよく知られたペアワイズ損失を接続する相互情報を最大化することと同値である。
さらに, 種々の標準対損失が有界関係を介して互いに明示的に関連していることを示す。
以上の結果から,クロスエントロピーは,サンプルマイニングのヒューリスティックを畳み込むことなく,相互情報の最大化のためのプロキシであることが示唆された。
4つの標準DMLベンチマークに対する実験は、我々の発見を強く支えている。
我々は最新かつ複雑なDML法よりも優れた技術結果を得た。
関連論文リスト
- Learning to Rematch Mismatched Pairs for Robust Cross-Modal Retrieval [49.07523607316323]
実世界のシナリオでは、大規模なマルチモーダルデータは、必然的にPMP(Partially Mismatched Pairs)を含むインターネットから収集される。
従来の取り組みでは、PMPの貢献度を下げるためのソフトな対応を推定することで、この問題を軽減する傾向があった。
我々は、ミスマッチペアの再マッチを学習する最適輸送(OT)に基づく一般的なフレームワークであるL2RMを提案する。
論文 参考訳（メタデータ） (2024-03-08T07:09:30Z) - Pairwise Learning via Stagewise Training in Proximal Setting [0.0]
非平滑凸対損失関数の収束保証と、適応的なサンプルサイズとペアワイズ学習のための重要サンプリング手法を組み合わせる。
それぞれに逆のインスタンスをサンプリングすると勾配の分散が減少し、収束が加速することを示した。
論文 参考訳（メタデータ） (2022-08-08T11:51:01Z) - Counterfactual Intervention Feature Transfer for Visible-Infrared Person
Re-identification [69.45543438974963]
視覚赤外人物再識別タスク(VI-ReID)におけるグラフベースの手法は,2つの問題により,悪い一般化に悩まされている。
十分に訓練された入力特徴は、グラフトポロジーの学習を弱め、推論過程において十分に一般化されない。
本稿では,これらの問題に対処するためのCIFT法を提案する。
論文 参考訳（メタデータ） (2022-08-01T16:15:31Z) - Deep Networks on Toroids: Removing Symmetries Reveals the Structure of
Flat Regions in the Landscape Geometry [3.712728573432119]
我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。
最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。
また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
論文 参考訳（メタデータ） (2022-02-07T09:57:54Z) - Adaptive neighborhood Metric learning [184.95321334661898]
適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。
ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。
本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
論文 参考訳（メタデータ） (2022-01-20T17:26:37Z) - Robust Contrastive Learning against Noisy Views [79.71880076439297]
ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。
提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
論文 参考訳（メタデータ） (2022-01-12T05:24:29Z) - Deep Relational Metric Learning [84.95793654872399]
本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。
我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。
広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
論文 参考訳（メタデータ） (2021-08-23T09:31:18Z) - Sample-efficient L0-L2 constrained structure learning of sparse Ising
models [3.056751497358646]
スパースイジングモデルの基盤となるグラフを$n$ i.i.d.サンプルから$p$ノードで学習する問題を考察する。
濃度制約 L0 ノルムを有効に利用し、このノルムを L2 ノルムと組み合わせて非零係数をモデル化する。
論文 参考訳（メタデータ） (2020-12-03T07:52:20Z) - PairRE: Knowledge Graph Embeddings via Paired Relation Vectors [24.311361524872257]
関係表現毎にペア化されたベクトルを持つモデルであるPairREを提案する。
3つの重要な関係パターン、対称性/反対称性、逆および合成を符号化することができる。
挑戦的なOpen Graphベンチマークの2つのナレッジグラフデータセットに、最先端の新たなデータセットを設定しました。
論文 参考訳（メタデータ） (2020-11-07T16:09:03Z) - AMC-Loss: Angular Margin Contrastive Loss for Improved Explainability in
Image Classification [8.756814963313804]
Angular Margin Contrastive Loss (AMC-Loss)は、従来のクロスエントロピー損失とともに使用される新しいロス関数である。
AMC-ロスは超球面多様体上の測地線距離と同値の判別角距離計量を用いる。
提案した幾何的制約付き損失関数は定量的な結果を適度に改善するが,ディープネット決定の解釈可能性を高めるには,質的に驚くほど有益であることがわかった。
論文 参考訳（メタデータ） (2020-04-21T08:03:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。