論文の概要: Mathematical Justification of Hard Negative Mining via Isometric
Approximation Theorem
- arxiv url: http://arxiv.org/abs/2210.11173v1
- Date: Thu, 20 Oct 2022 11:21:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 15:36:15.817948
- Title: Mathematical Justification of Hard Negative Mining via Isometric
Approximation Theorem
- Title（参考訳）: 等尺近似定理によるハード負マイニングの数学的正当化
- Authors: Albert Xu, Jhih-Yi Hsieh, Bhaskar Vundurthy, Eliana Cohen, Howie
Choset, Lu Li
- Abstract要約: ディープ・メトリック・ラーニングにおいて、トリプルト・ロスは多くのコンピュータビジョンと自然言語処理タスクを学習する一般的な方法として登場した。
Triplet Lossを悩ませている問題のひとつは、ネットワーク崩壊だ。ネットワークがすべてのデータの埋め込みを単一のポイントに投影するという、望ましくない現象だ。
強硬な負の採掘はこれらの戦略の中で最も効果的であるが、既存の定式化は経験的成功に対して強い理論上の正当化を欠いている。
- 参考スコア（独自算出の注目度）: 18.525368151998386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In deep metric learning, the Triplet Loss has emerged as a popular method to
learn many computer vision and natural language processing tasks such as facial
recognition, object detection, and visual-semantic embeddings. One issue that
plagues the Triplet Loss is network collapse, an undesirable phenomenon where
the network projects the embeddings of all data onto a single point.
Researchers predominately solve this problem by using triplet mining
strategies. While hard negative mining is the most effective of these
strategies, existing formulations lack strong theoretical justification for
their empirical success. In this paper, we utilize the mathematical theory of
isometric approximation to show an equivalence between the Triplet Loss sampled
by hard negative mining and an optimization problem that minimizes a
Hausdorff-like distance between the neural network and its ideal counterpart
function. This provides the theoretical justifications for hard negative
mining's empirical efficacy. In addition, our novel application of the
isometric approximation theorem provides the groundwork for future forms of
hard negative mining that avoid network collapse. Our theory can also be
extended to analyze other Euclidean space-based metric learning methods like
Ladder Loss or Contrastive Learning.
- Abstract（参考訳）: ディープメトリック学習において、三重項損失は、顔認識、物体検出、視覚認識埋め込みなど、多くのコンピュータビジョンや自然言語処理タスクを学ぶ一般的な方法として現れてきた。
三重項損失を悩ませる問題の一つがネットワーク崩壊である。これは望ましくない現象であり、ネットワークがすべてのデータを一つの点に投影する。
研究者はトリプルトマイニング戦略を用いてこの問題を優先的に解決する。
強硬な負の採掘はこれらの戦略の中で最も効果的であるが、既存の定式化は経験的成功に対して強い理論上の正当化を欠いている。
本稿では,重負マイニングによってサンプリングされた三重項損失と,ニューラルネットワークと理想関数との間のハウスドルフ的距離を最小化する最適化問題との等価性を示すために等尺近似の数学的理論を用いる。
これは、強陰性鉱業の実証的な有効性の理論的な正当化を与える。
さらに, 等尺近似定理の新たな応用により, ネットワーク崩壊を回避した将来の強負鉱業の基盤となる。
この理論は、ラダーロスやコントラスト学習といった他のユークリッド空間に基づく計量学習法を分析するために拡張することもできる。
関連論文リスト
- Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。
課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
論文 参考訳（メタデータ） (2024-05-30T10:49:22Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Mean Field Theory in Deep Metric Learning [0.0]
分類に基づく損失関数をペアベースから設計する手法を開発した。
我々は2つの新しい損失関数、MeanFieldContrastiveとMeanFieldClassWiseMultiSimilarity損失を導出し、トレーニングの複雑さを低減した。
得られた損失関数を3つの画像検索データセット上で広範囲に評価する。
論文 参考訳（メタデータ） (2023-06-27T10:33:37Z) - No Wrong Turns: The Simple Geometry Of Neural Networks Optimization
Paths [12.068608358926317]
1次最適化アルゴリズムは、ディープニューラルネットワークにおいて好ましいミニマを効率的に見つけることが知られている。
2つの鍵経路における標本最適化量の基本的な幾何学的性質に焦点をあてる。
以上の結果から,最適化トラジェクトリは大きな障害に遭遇しないだけでなく,ほとんどのトレーニングにおいて安定なダイナミクスも維持できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-06-20T22:10:40Z) - Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。
我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
論文 参考訳（メタデータ） (2023-05-31T08:13:14Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - On the Minimal Adversarial Perturbation for Deep Neural Networks with
Provable Estimation Error [65.51757376525798]
敵の摂動の存在は、証明可能な堅牢性に関する興味深い研究ラインを開いた。
検証可能な結果は、コミットしたエラーを見積り、バウンドするものではない。
本稿では,最小対向摂動を求めるための2つの軽量戦略を提案する。
その結果, 提案手法は, 分類に近い試料の理論的距離とロバスト性を近似し, 敵攻撃に対する確実な保証が得られた。
論文 参考訳（メタデータ） (2022-01-04T16:40:03Z) - Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。
最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。
実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
論文 参考訳（メタデータ） (2021-09-12T23:14:06Z) - LoOp: Looking for Optimal Hard Negative Embeddings for Deep Metric
Learning [17.571160136568455]
埋め込み空間における最適強陰性(LoOp)を求める新しい手法を提案する。
マイニング法とは違って, 最適硬質負を計算するために, 組込みの組込み間の空間全体を考慮した。
論文 参考訳（メタデータ） (2021-08-20T19:21:33Z) - Optimization and Generalization of Regularization-Based Continual
Learning: a Loss Approximation Viewpoint [35.5156045701898]
各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。
この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
論文 参考訳（メタデータ） (2020-06-19T06:08:40Z) - Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。
アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
論文 参考訳（メタデータ） (2020-06-10T16:51:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。