Fugu-MT 論文翻訳(概要): Shadow: A Novel Loss Function for Efficient Training in Siamese Networks

論文の概要: Shadow: A Novel Loss Function for Efficient Training in Siamese Networks

arxiv url: http://arxiv.org/abs/2311.14012v1
Date: Thu, 23 Nov 2023 14:07:35 GMT
ステータス: 処理完了
システム内更新日: 2023-11-27 23:29:11.029577
Title: Shadow: A Novel Loss Function for Efficient Training in Siamese Networks
Title（参考訳）: シャドー:シームズネットワークにおける効率的なトレーニングのための新しい損失関数
Authors: Alif Elham Khan, Mohammad Junayed Hasan, Humayra Anjum, Nabeel Mohammed
Abstract要約: 本稿では,損失計算中の埋め込み空間の次元を,性能を損なわずに圧縮するシャドウロスと呼ばれる新しい損失関数を提案する。低次元射影空間を投影すると、損失関数はより早く収束し、その結果、分類された画像クラスターはクラス間距離が高く、クラス内距離も小さくなる。 Shadow Lossは、さまざまなデータセットで5%から10%の精度で、最先端のMargin Lossよりも一貫してパフォーマンスが向上している。
参考スコア（独自算出の注目度）: 2.2189125306342
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite significant recent advances in similarity detection tasks, existing approaches pose substantial challenges under memory constraints. One of the primary reasons for this is the use of computationally expensive metric learning loss functions such as Triplet Loss in Siamese networks. In this paper, we present a novel loss function called Shadow Loss that compresses the dimensions of an embedding space during loss calculation without loss of performance. The distance between the projections of the embeddings is learned from inputs on a compact projection space where distances directly correspond to a measure of class similarity. Projecting on a lower-dimension projection space, our loss function converges faster, and the resulting classified image clusters have higher inter-class and smaller intra-class distances. Shadow Loss not only reduces embedding dimensions favoring memory constraint devices but also consistently performs better than the state-of-the-art Triplet Margin Loss by an accuracy of 5\%-10\% across diverse datasets. The proposed loss function is also model agnostic, upholding its performance across several tested models. Its effectiveness and robustness across balanced, imbalanced, medical, and non-medical image datasets suggests that it is not specific to a particular model or dataset but demonstrates superior performance consistently while using less memory and computation.
Abstract（参考訳）: 最近の類似性検出タスクの大幅な進歩にもかかわらず、既存のアプローチはメモリ制約下で大きな課題をもたらす。この主な理由の1つは、シームズネットワークにおけるトリプルト損失のような計算コストのかかるメトリック学習損失関数を使用することである。本稿では,損失計算中の埋め込み空間の次元を,性能を損なわずに圧縮するシャドウロスと呼ばれる新しい損失関数を提案する。埋め込みの射影間の距離は、距離がクラス類似性の測度と直接一致するコンパクト射影空間上の入力から学習される。低次元射影空間を投影すると、損失関数はより早く収束し、その結果、分類された画像クラスターはクラス間距離が高く、クラス内距離も小さい。シャドウロスはメモリ制約デバイスを好む埋め込み次元を減らすだけでなく、さまざまなデータセットで5\%-10\%の精度で最先端のトリプルトマージンロスよりも一貫してパフォーマンスが向上する。提案した損失関数はモデル非依存であり、いくつかの試験されたモデルで性能を向上する。バランスのとれた、不均衡な、医療的、非医療的なイメージデータセットにおけるその効果と堅牢性は、特定のモデルやデータセットに固有のものではなく、メモリと計算量が少なく、一貫して優れたパフォーマンスを示すことを示唆している。

関連論文リスト

Reduced Jeffries-Matusita distance: A Novel Loss Function to Improve Generalization Performance of Deep Classification Models [0.0]
本稿では,深層分類モデルの学習における損失関数として,Reduced Jeffries-Matusitaという距離を導入する。その結果、新しい距離測定はトレーニングプロセスを著しく安定化させ、一般化能力を高め、精度とF1スコアの指標におけるモデルの性能を向上させることを示した。
論文参考訳（メタデータ） (2024-03-13T10:51:38Z)
Associative Memories in the Feature Space [68.1903319310263]
本稿では,低次元のセマンティック埋め込みのみを記憶するメモリモデルを提案する。 MNISTデータセット上の単純なタスクに対して,本手法の概念実証を行う。
論文参考訳（メタデータ） (2024-02-16T16:37:48Z)
FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models [62.663113296987085]
クラス増分学習(class-incremental learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。冗長特徴除去器(RFE)と空間ノイズ補償器(SNC)の2つの新しいコンポーネントを紹介する。既存の3次元データセットの不均衡を考慮し、3次元FSCILモデルのより微妙な評価を提供する新しい評価指標を提案する。
論文参考訳（メタデータ） (2023-12-28T14:52:07Z)
Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks [82.03459331544737]
非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
論文参考訳（メタデータ） (2023-07-04T11:08:03Z)
Noise-Robust Loss Functions: Enhancing Bounded Losses for Large-Scale Noisy Data Learning [0.0]
大きな注釈付きデータセットには、必然的にノイズのあるラベルが含まれており、ラベルを覚えやすいようにディープニューラルネットワークをトレーニングする上で大きな課題となる。ノイズ・ロバスト損失関数はこの問題に対処するための重要な戦略として現れてきたが、過度に適合しないロバスト損失関数を作成することは依然として困難である。本稿では,ロジットバイアス(logit bias)と表される新しい手法を提案し,ロジットに正しいクラスの位置で実数$epsilon$を付加する。
論文参考訳（メタデータ） (2023-06-08T18:38:55Z)
SuSana Distancia is all you need: Enforcing class separability in metric learning via two novel distance-based loss functions for few-shot image classification [0.9236074230806579]
本稿では,少数のデータ間のクラス内距離とクラス間距離を調べることで,埋め込みベクトルの重要性を考慮に入れた2つの損失関数を提案する。以上の結果から,miniImagenNetベンチマークの精度は,他のメトリクスベースの数ショット学習手法に比べて2%向上した。
論文参考訳（メタデータ） (2023-05-15T23:12:09Z)
Instance-Variant Loss with Gaussian RBF Kernel for 3D Cross-modal Retriveal [52.41252219453429]
既存の方法は全てのインスタンスを等しく扱い、同じペナルティ強度を様々な難易度を持つインスタンスに適用する。これは曖昧な収束や局所最適性をもたらし、特徴空間の分離性を著しく妥協させる。本稿では,異なるインスタンスに対して異なるペナルティ強度を割り当て,空間分離性を向上させるインスタンス・ヴァリアント損失を提案する。
論文参考訳（メタデータ） (2023-05-07T10:12:14Z)
SIoU Loss: More Powerful Learning for Bounding Box Regression [0.0]
損失関数SIoUが提案され、所望の回帰のベクトルの角度を考慮してペナルティ指標が再定義された。従来のニューラルネットワークやデータセットに適用すると、SIoUはトレーニングの速度と推論の精度の両方を改善する。
論文参考訳（メタデータ） (2022-05-25T12:46:21Z)
Why Do Better Loss Functions Lead to Less Transferable Features? [93.47297944685114]
本稿では,画像ネット上で学習した畳み込みニューラルネットワークの隠れ表現が,学習対象の選択が伝達可能性に与える影響について検討する。我々は,多くの目的が,バニラソフトマックスのクロスエントロピーよりも画像ネットの精度を統計的に有意に向上させることを示した。
論文参考訳（メタデータ） (2020-10-30T17:50:31Z)
Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
論文参考訳（メタデータ） (2020-06-10T16:51:53Z)
A Comparison of Metric Learning Loss Functions for End-To-End Speaker Verification [4.617249742207066]
本稿では,VoxCelebデータセット上で,いくつかのメトリクス学習損失関数を体系的に比較する。加法的な角縁損失関数は,他のすべての損失関数より優れていることを示す。本稿では,SincNet のトレーニング可能な機能と x-vector アーキテクチャを組み合わせることで,エンドツーエンドの話者検証システムに一歩近づいた。
論文参考訳（メタデータ） (2020-03-31T08:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。