論文の概要: Ensemble of Loss Functions to Improve Generalizability of Deep Metric Learning methods

• arxiv url: http://arxiv.org/abs/2107.01130v1
• Date: Fri, 2 Jul 2021 15:19:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 13:05:11.832588
• Title: Ensemble of Loss Functions to Improve Generalizability of Deep Metric Learning methods
• Title（参考訳）: Deep Metric Learning 法の一般化性向上のための損失関数の組付け
• Authors: Davood Zabihzadeh
• Abstract要約: 本稿では,共有機能抽出器上に構築された異なる損失を結合する新しい手法を提案する。 我々は,従来のゼロショットラーニング(ZSL)設定において,マシンビジョン領域から一般的なデータセットについて評価を行った。
• 参考スコア（独自算出の注目度）: 0.609170287691728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Metric Learning (DML) learns a non-linear semantic embedding from input data that brings similar pairs together while keeps dissimilar data away from each other. To this end, many different methods are proposed in the last decade with promising results in various applications. The success of a DML algorithm greatly depends on its loss function. However, no loss function is perfect, and it deals only with some aspects of an optimal similarity embedding. Besides, the generalizability of the DML on unseen categories during the test stage is an important matter that is not considered by existing loss functions. To address these challenges, we propose novel approaches to combine different losses built on top of a shared deep feature extractor. The proposed ensemble of losses enforces the deep model to extract features that are consistent with all losses. Since the selected losses are diverse and each emphasizes different aspects of an optimal semantic embedding, our effective combining methods yield a considerable improvement over any individual loss and generalize well on unseen categories. Here, there is no limitation in choosing loss functions, and our methods can work with any set of existing ones. Besides, they can optimize each loss function as well as its weight in an end-to-end paradigm with no need to adjust any hyper-parameter. We evaluate our methods on some popular datasets from the machine vision domain in conventional Zero-Shot-Learning (ZSL) settings. The results are very encouraging and show that our methods outperform all baseline losses by a large margin in all datasets.
• Abstract（参考訳）: Deep Metric Learning (DML)は入力データから非線形セマンティック埋め込みを学び、類似したペアをまとめながら、異なるデータを互いに遠ざけ合う。 この目的のために、様々な応用において有望な結果をもたらす様々な方法が過去10年間に提案されている。 DMLアルゴリズムの成功は、その損失関数に大きく依存する。 しかし、損失関数は完全ではなく、最適な類似性の埋め込みのいくつかの側面のみを扱う。 さらに、テスト段階における見えないカテゴリに対するDMLの一般化性は、既存の損失関数では考慮されない重要な問題である。 これらの課題に対処するために,共有機能抽出器上に構築された異なる損失を組み合わせ,新しい手法を提案する。 提案された損失の集合は、すべての損失と一致する特徴を抽出するディープモデルを強制する。 選択された損失は多種多様であり,それぞれが最適セマンティック埋め込みの異なる側面を強調しているため,有効結合法は個々の損失に対して著しく改善され,目に見えないカテゴリをうまく一般化する。 ここでは、損失関数の選択には制限がなく、我々のメソッドは既存の関数の任意のセットで動作する。 さらに、各損失関数とその重みを、ハイパーパラメータを調整する必要なく、エンドツーエンドのパラダイムで最適化することもできる。 従来のゼロショット学習(zsl)設定において,マシンビジョン領域から一般的なデータセットを評価する。 その結果,本手法がすべてのデータセットにおいて,ベースラインの損失をはるかに上回っていることが明らかとなった。

関連論文リスト

• EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification [1.3778851745408134]
  経験的リスク最小化フレームワーク内で損失関数を結合する新しいアンサンブル手法,すなわちEnsLossを提案する。 まず、損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避した。 理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-09-02T02:40:42Z)
• Noise-Robust Loss Functions: Enhancing Bounded Losses for Large-Scale Noisy Data Learning [0.0]
  大きな注釈付きデータセットには、必然的にノイズのあるラベルが含まれており、ラベルを覚えやすいようにディープニューラルネットワークをトレーニングする上で大きな課題となる。 ノイズ・ロバスト損失関数はこの問題に対処するための重要な戦略として現れてきたが、過度に適合しないロバスト損失関数を作成することは依然として困難である。 本稿では,ロジットバイアス(logit bias)と表される新しい手法を提案し,ロジットに正しいクラスの位置で実数$epsilon$を付加する。
  論文  参考訳（メタデータ） (2023-06-08T18:38:55Z)
• Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices [37.559461866831754]
  我々は、深いAUROC最適化問題に対するアルゴリズム選択の異なる様々な損失関数をベンチマークする。 正のサンプリング率、正規化、正規化/アクティベーション、重みなどの重要な選択を強調した。 以上の結果から,Adam-type法はトレーニングの面では競争力が高いが,テストの面では他よりも優れていないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-27T00:47:00Z)
• A Decidability-Based Loss Function [2.5919311269669003]
  生体認証問題は、ディープラーニングモデルを使用して画像から特徴を抽出する。 本研究では,検証ルーチンの埋め込み品質を向上させるために,決定可能性指数に基づく損失関数を提案する。 提案手法は,4つのベンチマークにおいて,ソフトマックス(クロスエントロピー),トリプレットソフトハード,マルチ類似性損失に対して比較される。
  論文  参考訳（メタデータ） (2021-09-12T14:26:27Z)
• Universal Online Convex Optimization Meets Second-order Bounds [74.0120666722487]
  ユニバーサルオンライン凸最適化のための簡単な戦略を提案する。 主要なアイデアは、オリジナルのオンライン機能を処理するための専門家のセットを構築し、線形化された損失に対してメタアルゴリズムをデプロイすることである。 このようにして、私たちはブラックボックスの専門家として、既成のオンライン問題解決者をプラグインして、問題依存の後悔の限界を提供することができます。
  論文  参考訳（メタデータ） (2021-05-08T11:43:49Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation [56.343646789922545]
  そこで本研究では,各計量に対する相異なるサロゲート損失を探索することにより,計量固有損失関数の設計を自動化することを提案する。 PASCAL VOCとCityscapesの実験では、探索されたサロゲート損失は手動で設計した損失関数よりも優れていた。
  論文  参考訳（メタデータ） (2020-10-15T17:59:08Z)
• Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
  本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。 ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。 我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
  論文  参考訳（メタデータ） (2020-10-05T01:58:32Z)
• Rethinking preventing class-collapsing in metric learning with margin-based losses [81.22825616879936]
  メトリクス学習は、視覚的に類似したインスタンスが近接し、異なるインスタンスが分離した埋め込みを求める。 マージンベースの損失は、クラスの全サンプルを埋め込み空間の単一点に投影する傾向がある。 そこで本研究では,各サンプルが最寄りの同一クラスをバッチで選択するように,埋め込み損失の簡易な修正を提案する。
  論文  参考訳（メタデータ） (2020-06-09T09:59:25Z)
• All your loss are belong to Bayes [28.393499629583786]
  ロス関数は機械学習の基盤であり、ほとんどのアルゴリズムの出発点である。 正方形ガウス過程を用いて経路が整合なソース関数を持つランダムな過程を求める。 実験の結果は、最先端技術よりも大幅に改善された。
  論文  参考訳（メタデータ） (2020-06-08T14:31:21Z)
• Learning Adaptive Loss for Robust Learning with Noisy Labels [59.06189240645958]
  ロバスト損失は、堅牢な学習問題を扱うための重要な戦略である。 本稿では,強靭なハイパーチューニングが可能なメタ学習手法を提案する。 4種類のSOTA損失関数は, 最小化, 一般利用, 有効性を示す。
  論文  参考訳（メタデータ） (2020-02-16T00:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。