論文の概要: Anchor-aware Deep Metric Learning for Audio-visual Retrieval
- arxiv url: http://arxiv.org/abs/2404.13789v1
- Date: Sun, 21 Apr 2024 22:44:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 15:36:05.782346
- Title: Anchor-aware Deep Metric Learning for Audio-visual Retrieval
- Title(参考訳): Anchor-aware Deep Metric Learning for Audio-visual Retrieval
- Authors: Donghuo Zeng, Yanan Wang, Kazushi Ikeda, Yi Yu,
- Abstract要約: Metric Learningは、基礎となるデータ構造を捕捉し、オーディオ・ビジュアル・クロスモーダル検索(AV-CMR)のようなタスクの性能を向上させることを目的としている。
近年の研究では、トレーニング中に埋め込み空間から影響のあるデータポイントを選択するためのサンプリング手法が採用されている。
しかし、トレーニングデータポイントの不足のため、モデルトレーニングはスペースを完全に探索することができない。
本稿では,この課題に対処するために,AADML(Anchor-aware Deep Metric Learning)手法を提案する。
- 参考スコア(独自算出の注目度): 11.675472891647255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Metric learning minimizes the gap between similar (positive) pairs of data points and increases the separation of dissimilar (negative) pairs, aiming at capturing the underlying data structure and enhancing the performance of tasks like audio-visual cross-modal retrieval (AV-CMR). Recent works employ sampling methods to select impactful data points from the embedding space during training. However, the model training fails to fully explore the space due to the scarcity of training data points, resulting in an incomplete representation of the overall positive and negative distributions. In this paper, we propose an innovative Anchor-aware Deep Metric Learning (AADML) method to address this challenge by uncovering the underlying correlations among existing data points, which enhances the quality of the shared embedding space. Specifically, our method establishes a correlation graph-based manifold structure by considering the dependencies between each sample as the anchor and its semantically similar samples. Through dynamic weighting of the correlations within this underlying manifold structure using an attention-driven mechanism, Anchor Awareness (AA) scores are obtained for each anchor. These AA scores serve as data proxies to compute relative distances in metric learning approaches. Extensive experiments conducted on two audio-visual benchmark datasets demonstrate the effectiveness of our proposed AADML method, significantly surpassing state-of-the-art models. Furthermore, we investigate the integration of AA proxies with various metric learning methods, further highlighting the efficacy of our approach.
- Abstract(参考訳): メトリック学習は、類似した(肯定的な)データポイントのペア間のギャップを最小化し、異なる(否定的な)ペアの分離を増加させ、基礎となるデータ構造をキャプチャし、オーディオ・ビジュアル・クロスモーダル検索(AV-CMR)のようなタスクのパフォーマンスを向上させることを目的としている。
近年の研究では、トレーニング中に埋め込み空間から影響のあるデータポイントを選択するためのサンプリング手法が採用されている。
しかし、トレーニングデータポイントの不足により、モデルトレーニングは空間を完全に探索することができず、結果として全体の正と負の分布が不完全な表現となる。
本稿では,既存のデータポイント間の相関関係を明らかにすることで,共有埋め込み空間の質を高めることにより,この課題に対処する革新的アンカー認識深度学習(AADML)手法を提案する。
具体的には,各サンプルのアンカーと,その意味論的に類似したサンプル間の依存関係を考慮し,相関グラフに基づく多様体構造を確立する。
注意駆動機構を用いて, この基礎となる多様体構造内の相関関係を動的に重み付けすることにより, アンカー毎にアンカー認識スコア(AA)を求める。
これらのAAスコアは、距離学習アプローチで相対距離を計算するためのデータプロキシとして機能する。
2つのオーディオ・ビジュアル・ベンチマーク・データセットで行った大規模な実験は、提案手法の有効性を実証し、最先端のモデルを大幅に上回った。
さらに,AAプロキシと各種メトリック学習手法の統合について検討し,本手法の有効性を明らかにする。
関連論文リスト
- ProcSim: Proxy-based Confidence for Robust Similarity Learning [0.6963971634605796]
一般的なベンチマークデータセットには多くの間違ったラベルが含まれており、DMLメソッドはそれらに影響を受けやすいことを示す。
現実的なノイズの効果を研究するために、データセット内のクラスのオントロジーを作成し、それを意味論的に一貫性のあるラベル付けミスをシミュレートする。
頑健なDMLモデルをトレーニングするために,クラス代表に対して正規化距離を用いて各サンプルに信頼スコアを割り当てるフレームワークであるProcSimを提案する。
論文 参考訳(メタデータ) (2023-11-01T17:17:14Z) - MeanAP-Guided Reinforced Active Learning for Object Detection [34.19741444116433]
本稿では,オブジェクト検出のためのMeanAP誘導強化能動学習について紹介する。
LSTMアーキテクチャに基づいて構築されたエージェントは、その後のトレーニングインスタンスを効率的に探索し、選択する。
我々は、一般的なベンチマーク、PASCAL VOC、MS COCOにおけるMAGRALの有効性を評価した。
論文 参考訳(メタデータ) (2023-10-12T14:59:22Z) - Continual Contrastive Finetuning Improves Low-Resource Relation
Extraction [34.76128090845668]
関係抽出は低リソースのシナリオやドメインでは特に困難である。
近年の文献は自己教師型学習によって低リソースREに取り組みつつある。
コントラスト学習の一貫した目的を用いたREモデルの事前学習と微調整を提案する。
論文 参考訳(メタデータ) (2022-12-21T07:30:22Z) - Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
適応的階層的類似度メトリック学習法を提案する。
ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。
提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
論文 参考訳(メタデータ) (2021-10-29T02:12:18Z) - Deep Relational Metric Learning [84.95793654872399]
本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。
我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。
広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
論文 参考訳(メタデータ) (2021-08-23T09:31:18Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳(メタデータ) (2021-08-11T21:17:02Z) - Boosting the Generalization Capability in Cross-Domain Few-shot Learning
via Noise-enhanced Supervised Autoencoder [23.860842627883187]
我々は、新しいノイズ強調型教師付きオートエンコーダ(NSAE)を用いて、特徴分布のより広範なバリエーションを捉えるようモデルに教える。
NSAEは入力を共同で再構築し、入力のラベルと再構成されたペアを予測することによってモデルを訓練する。
また、NSAE構造を利用して、より適応性を高め、対象領域の分類性能を向上させる2段階の微調整手順を提案する。
論文 参考訳(メタデータ) (2021-08-11T04:45:56Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z) - Memory-Augmented Relation Network for Few-Shot Learning [114.47866281436829]
本研究では,新しい距離学習手法であるメモリ拡張リレーショナルネットワーク(MRN)について検討する。
MRNでは、作業状況と視覚的に類似したサンプルを選択し、重み付け情報伝搬を行い、選択したサンプルから有用な情報を注意深く集約し、その表現を強化する。
我々は、MRNが祖先よりも大幅に向上し、他の数発の学習手法と比較して、競争力や性能が向上することを示した。
論文 参考訳(メタデータ) (2020-05-09T10:09:13Z) - One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。
また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。
提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文 参考訳(メタデータ) (2020-05-08T01:59:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。