論文の概要: Dissecting the impact of different loss functions with gradient surgery

• arxiv url: http://arxiv.org/abs/2201.11307v1
• Date: Thu, 27 Jan 2022 03:55:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 13:31:18.320302
• Title: Dissecting the impact of different loss functions with gradient surgery
• Title（参考訳）: 勾配手術における異なる損失関数の影響の分別
• Authors: Hong Xuan and Robert Pless
• Abstract要約: ペアワイズ・ロス(英: Pair-wise Los)とは、損失関数を最適化することで意味的な埋め込みを学習するメトリクス学習のアプローチである。 ここでは、これらの損失関数の勾配を、アンカー正対とアンカー負対の相対的特徴位置の押し方に関連する成分に分解する。
• 参考スコア（独自算出の注目度）: 7.001832294837659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pair-wise loss is an approach to metric learning that learns a semantic embedding by optimizing a loss function that encourages images from the same semantic class to be mapped closer than images from different classes. The literature reports a large and growing set of variations of the pair-wise loss strategies. Here we decompose the gradient of these loss functions into components that relate to how they push the relative feature positions of the anchor-positive and anchor-negative pairs. This decomposition allows the unification of a large collection of current pair-wise loss functions. Additionally, explicitly constructing pair-wise gradient updates to separate out these effects gives insights into which have the biggest impact, and leads to a simple algorithm that beats the state of the art for image retrieval on the CAR, CUB and Stanford Online products datasets.
• Abstract（参考訳）: ペアワイズ・ロス(Pair-wise Los)は、同じセマンティッククラスのイメージを異なるクラスのイメージよりも近くマッピングするロス関数を最適化することにより、セマンティックな埋め込みを学ぶメトリクス学習のアプローチである。 文献は、ペアワイズ損失戦略の大規模かつ増大するバリエーションを報告している。 ここでは、これらの損失関数の勾配を、アンカー正対とアンカー負対の相対的特徴位置の押し方に関連する成分に分解する。 この分解により、現在のペアワイズ損失関数の大規模な集合を統一することができる。 さらに、これらの効果を分離するためにペアワイズグレードの更新を明示的に構築することで、最も影響の大きいものに関する洞察が得られ、CAR、CUB、Stanford Onlineの製品データセット上の画像検索の最先端を克服するシンプルなアルゴリズムが実現される。

関連論文リスト

• Mitigating the Effect of Incidental Correlations on Part-based Learning [50.682498099720114]
  部分ベースの表現は、より解釈可能で、限られたデータでより一般化できる。 パートベース表現のための2つの革新的な正規化手法を提案する。 我々は、ベンチマークデータセット上の数ショットの学習タスクに対して、最先端(SoTA)パフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-09-30T13:44:48Z)
• PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant Semantic Segmentation [50.556961575275345]
  対向シーンにおけるセグメンテーションの堅牢性を促進するための認識認識型融合フレームワークを提案する。 我々は,先進の競争相手に比べて15.3% mIOUの利得で,ロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-08-08T01:55:44Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Learning the Relation between Similarity Loss and Clustering Loss in Self-Supervised Learning [27.91000553525992]
  自己教師付き学習は、ネットワークが大量のデータから識別的特徴を学習することを可能にする。 類似度損失と特徴レベルのクロスエントロピー損失の関係を解析する。 これらの2つの損失の適切な組み合わせが、最先端の結果が得られることを示すための理論的分析と実験を提供する。
  論文  参考訳（メタデータ） (2023-01-08T13:30:39Z)
• Dissecting Deep Metric Learning Losses for Image-Text Retrieval [8.248111272824326]
  VSE(Visual-Semantic Embedding)は、画像と言語モダリティの結合埋め込み空間を学習することにより、画像テキスト検索における一般的なアプローチである。 強負の鉱業による三重項損失は、ほとんどのVSE法において事実上の目標となっている。 我々は,既存のDML関数の勾配の組み合わせと重み付けを体系的に解析する,新しいグラディエントベースのObjective AnaLysisフレームワーク(textitGOAL)を提案する。
  論文  参考訳（メタデータ） (2022-10-21T06:48:27Z)
• Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
  半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。 近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。 これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
  論文  参考訳（メタデータ） (2022-02-14T15:18:00Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• Contrastive Learning of Visual-Semantic Embeddings [4.7464518249313805]
  本稿では,正規化されたクロスエントロピーに基づく2つの損失関数を提案する。 本研究は,画像・テキスト・テキスト・画像検索タスクにおける既存のビジュアル・セマンティックな埋め込み手法と比較する。
  論文  参考訳（メタデータ） (2021-10-17T17:28:04Z)
• Can contrastive learning avoid shortcut solutions? [88.249082564465]
  暗黙的特徴修正(IFM)は、より広い種類の予測的特徴を捉えるために、対照的なモデルを導くために、正と負のサンプルを変更する方法である。 IFMは特徴抑制を低減し、その結果、視覚および医用画像タスクのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-06-21T16:22:43Z)
• An Elastic Interaction-Based Loss Function for Medical Image Segmentation [10.851295591782538]
  本稿では,医用画像セグメンテーションのための長距離弾性相互作用に基づくトレーニング戦略を提案する。 この戦略において、CNNは予測領域の境界と実際の物体の境界との間の弾性相互作用エネルギーの誘導の下で対象領域を学習する。 実験結果から,本手法は一般的に用いられている画素単位の損失関数と比較して,大幅な改善が可能であることが示された。
  論文  参考訳（メタデータ） (2020-07-06T11:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。