論文の概要: Advancing Deep Metric Learning Through Multiple Batch Norms And
Multi-Targeted Adversarial Examples
- arxiv url: http://arxiv.org/abs/2211.16253v1
- Date: Tue, 29 Nov 2022 14:41:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 15:17:40.331206
- Title: Advancing Deep Metric Learning Through Multiple Batch Norms And
Multi-Targeted Adversarial Examples
- Title(参考訳): 複数のバッチノルムとマルチターゲット逆数例によるディープメトリック学習の促進
- Authors: Inderjeet Singh, Kazuya Kakizaki, Toshinori Araki
- Abstract要約: 本稿では,DMLモデルの性能をクリーンなデータと複数の分布に追従する入力に対して同時に向上させるフレームワークMDPropを提案する。
総合的な実験分析から,MDPropはクリーンデータ2.95%,リコール@1スコア2.12倍,異なる入力分布に対するロバスト性を示した。
- 参考スコア(独自算出の注目度): 6.656366181951116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Metric Learning (DML) is a prominent field in machine learning with
extensive practical applications that concentrate on learning visual
similarities. It is known that inputs such as Adversarial Examples (AXs), which
follow a distribution different from that of clean data, result in false
predictions from DML systems. This paper proposes MDProp, a framework to
simultaneously improve the performance of DML models on clean data and inputs
following multiple distributions. MDProp utilizes multi-distribution data
through an AX generation process while leveraging disentangled learning through
multiple batch normalization layers during the training of a DML model. MDProp
is the first to generate feature space multi-targeted AXs to perform targeted
regularization on the training model's denser embedding space regions,
resulting in improved embedding space densities contributing to the improved
generalization in the trained models. From a comprehensive experimental
analysis, we show that MDProp results in up to 2.95% increased clean data
Recall@1 scores and up to 2.12 times increased robustness against different
input distributions compared to the conventional methods.
- Abstract(参考訳): ディープ・メトリック・ラーニング(Deep Metric Learning, DML)は、視覚的類似性を学ぶことに集中する幅広い実践的応用を持つ機械学習の分野である。
クリーンデータとは異なる分布に従うadversarial examples(axs)のような入力は、dmlシステムからの誤った予測をもたらすことが知られている。
本稿では,DMLモデルの性能をクリーンデータと複数分布の入力で同時に向上するMDPropを提案する。
mdpropは、dmlモデルのトレーニング中に、複数のバッチ正規化層による不連続学習を活用しながら、ax生成プロセスを通じてマルチ分散データを利用する。
mdpropは、トレーニングモデルのより密な埋め込み空間領域をターゲットとした正規化を行うために、機能空間を多目的軸に生成した最初の例であり、訓練モデルの一般化に寄与する埋め込み空間密度の改善に寄与した。
総合的な実験結果から,mdpropはクリーンデータリコール@1スコアを最大2.95%向上させ,従来の方法と比較して,異なる入力分布に対する頑健度を最大2.12倍向上させることを示した。
関連論文リスト
- FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。
最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。
凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
論文 参考訳(メタデータ) (2024-02-27T15:53:15Z) - ArSDM: Colonoscopy Images Synthesis with Adaptive Refinement Semantic
Diffusion Models [69.9178140563928]
大腸内視鏡検査は臨床診断や治療に不可欠である。
注釈付きデータの不足は、既存の手法の有効性と一般化を制限する。
本稿では, 下流作業に有用な大腸内視鏡画像を生成するために, 適応Refinement Semantic Diffusion Model (ArSDM)を提案する。
論文 参考訳(メタデータ) (2023-09-03T07:55:46Z) - Objective-Agnostic Enhancement of Molecule Properties via Multi-Stage
VAE [1.3597551064547502]
変異オートエンコーダ(VAE)は医薬品発見の一般的な方法であり、その性能を改善するために様々なアーキテクチャやパイプラインが提案されている。
VAEアプローチは、データが高次元の周囲空間に埋め込まれた低次元多様体上にあるとき、多様体の回復不良に悩まされることが知られている。
本稿では, 合成データセット上での多様体回復を向上する多段階VAEアプローチを創薬分野に適用することを検討する。
論文 参考訳(メタデータ) (2023-08-24T20:22:22Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data
Selection for Instruction Tuning [54.222609226692015]
我々は大規模言語モデルのための自己誘導手法を導入し、大規模なオープンソースデータセットからサクラサンプルを自律的に識別し、選択する。
私たちの重要なイノベーションであるIFD(Instruction-Following Difficulty)メトリックは、モデルが期待する応答と自動生成技術との間の相違を識別するための重要なツールとして現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - Diff-Instruct: A Universal Approach for Transferring Knowledge From
Pre-trained Diffusion Models [77.83923746319498]
本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。
Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。
GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
論文 参考訳(メタデータ) (2023-05-29T04:22:57Z) - MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based
Self-Supervised Pre-Training [58.07391711548269]
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
論文 参考訳(メタデータ) (2023-03-23T17:59:02Z) - Improving Molecule Properties Through 2-Stage VAE [0.0]
変異オートエンコーダ(VAE)は、薬物発見の一般的な方法である。
VAEモデルは、高次元空間に埋め込まれた低次元多様体上にデータを置くと、多様体の回復不良のような欠陥に悩まされる。
本稿では,2段階のVAEによる多様体復元を改良し,VAEとトレーニングデータセットによるデータの類似性を改善する方法について検討する。
論文 参考訳(メタデータ) (2022-12-06T04:41:48Z) - Self-distillation with Online Diffusion on Batch Manifolds Improves Deep
Metric Learning [23.974500845619175]
DMLのためのオンラインバッチ拡散に基づく自己蒸留(OBD-SD)を提案する。
まず, モデル自体から知識を段階的に蒸留する, 単純だが効果的なプログレッシブ自己蒸留法を提案する。
次に, PSD を Online Batch Diffusion Process (OBDP) で拡張し, 各バッチにおける多様体の局所的幾何学的構造を捉える。
論文 参考訳(メタデータ) (2022-11-14T17:38:07Z) - WILDS: A Benchmark of in-the-Wild Distribution Shifts [157.53410583509924]
分散シフトは、ワイルドにデプロイされた機械学習システムの精度を実質的に低下させることができる。
分散シフトの多様な範囲を反映した8つのベンチマークデータセットのキュレーションコレクションであるWILDSを紹介します。
本研究は, 標準訓練の結果, 分布性能よりも, 分布域外性能が有意に低下することを示す。
論文 参考訳(メタデータ) (2020-12-14T11:14:56Z) - Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。
我々は,再建基準の代替として,異常スコアの代替尺度を提案した。
提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2020-03-24T08:26:58Z) - Revisiting Training Strategies and Generalization Performance in Deep
Metric Learning [28.54755295856929]
我々は、最も広く使われているDML目的関数を再検討し、重要なパラメータ選択について検討する。
一貫した比較では、DMLの目的は文学で示されるよりもはるかに高い飽和を示す。
これらの知見を公開し、ランキングベースのDMLモデルの性能を確実に向上させるために、単純かつ効果的に正規化を訓練することを提案する。
論文 参考訳(メタデータ) (2020-02-19T22:16:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。