論文の概要: Affinity guided Geometric Semi-Supervised Metric Learning
- arxiv url: http://arxiv.org/abs/2002.12394v2
- Date: Fri, 6 Nov 2020 17:49:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 07:54:50.799590
- Title: Affinity guided Geometric Semi-Supervised Metric Learning
- Title(参考訳): アフィニティガイドによる幾何学的半教師付き計量学習
- Authors: Ujjal Kr Dutta, Mehrtash Harandi and Chellu Chandra Sekhar
- Abstract要約: この動機は、線形マハラノビス計量を学習する古典的なSSDMLアプローチとは別に、ディープSSDMLは研究されていないという事実から来ている。
まず,既存のSSDMLメソッドを深層に拡張し,その限界を克服する新しい手法を提案する。
新たな親和性伝播に基づく三重項マイニング手法を用いたSSDML法は,競合他社よりも優れている。
- 参考スコア(独自算出の注目度): 27.955068939695042
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we revamp the forgotten classical Semi-Supervised Distance
Metric Learning (SSDML) problem from a Riemannian geometric lens, to leverage
stochastic optimization within a end-to-end deep framework. The motivation
comes from the fact that apart from a few classical SSDML approaches learning a
linear Mahalanobis metric, deep SSDML has not been studied. We first extend
existing SSDML methods to their deep counterparts and then propose a new method
to overcome their limitations. Due to the nature of constraints on our metric
parameters, we leverage Riemannian optimization. Our deep SSDML method with a
novel affinity propagation based triplet mining strategy outperforms its
competitors.
- Abstract(参考訳): 本稿では,従来の半スーパービジョン距離学習(SSDML)問題をリーマン幾何学レンズから修正し,エンドツーエンドの深層フレームワークにおける確率的最適化を活用する。
この動機は、線形マハラノビス計量を学ぶ古典的なSSDMLアプローチとは別に、ディープSSDMLは研究されていないという事実に由来する。
まず,既存のSSDMLメソッドを深層に拡張し,その限界を克服する新しい手法を提案する。
距離パラメータの制約の性質から、我々はリーマン最適化を利用する。
新たな親和性伝播型トリプルトマイニング戦略を用いた深部ssdml手法は,競合他社を上回っている。
関連論文リスト
- FORML: A Riemannian Hessian-free Method for Meta-learning with
Orthogonality Constraint [5.197619725604242]
本稿では、スティーフェル多様体上の微分の1次近似を用いたヘッセンフリーアプローチを提案する。
本手法は計算負荷とメモリフットプリントを大幅に削減する。
論文 参考訳(メタデータ) (2024-02-28T10:57:30Z) - Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。
キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文 参考訳(メタデータ) (2024-02-26T05:51:47Z) - Revisiting Zeroth-Order Optimization for Memory-Efficient LLM
Fine-Tuning: A Benchmark [170.47660885570463]
本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。
従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。
本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
論文 参考訳(メタデータ) (2024-02-18T14:08:48Z) - Riemannian Self-Attention Mechanism for SPD Networks [34.794770395408335]
本稿では,SPD多様体自己アテンション機構(SMSA)を提案する。
構造化表現の識別を改善するためにSMSAベースの幾何学習モジュール(SMSA-GL)を設計する。
論文 参考訳(メタデータ) (2023-11-28T12:34:46Z) - A Survey of Geometric Optimization for Deep Learning: From Euclidean
Space to Riemannian Manifold [7.737713458418288]
ディープラーニング(DL)は複雑な人工知能(AI)タスクで成功したが、様々な悪名高い問題に悩まされている。
本稿では、DLにおける幾何最適化の適用に関する総合的な調査について述べる。
畳み込みニューラルネットワーク、リカレントニューラルネットワーク、トランスファー学習、最適輸送など、さまざまなAIタスクにおける異なるDLネットワークにおける幾何学的最適化の適用について検討する。
論文 参考訳(メタデータ) (2023-02-16T10:50:15Z) - The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。
ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。
ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
論文 参考訳(メタデータ) (2022-06-14T12:30:11Z) - ELM: Embedding and Logit Margins for Long-Tail Learning [70.19006872113862]
長期学習はスキューラベル分布下での学習の問題である。
本稿では,ロジット空間にマージンを強制するための統一アプローチであるEmbedding and Logit Margins(ELM)を提案する。
The ELM method are shown to be well empirically, and result to tight more tail class embeddeds。
論文 参考訳(メタデータ) (2022-04-27T21:53:50Z) - SetMargin Loss applied to Deep Keystroke Biometrics with Circle Packing
Interpretation [67.0845003374569]
本研究は,新しい距離距離学習法(DML)に基づくキーストロークバイオメトリックスのための新しい深層学習手法を提案する。
提案手法の有効性を実験的に証明し, キーストロークの生体認証を78,000名の被験者に対して行った。
論文 参考訳(メタデータ) (2021-09-02T13:26:57Z) - Semi-Supervised Metric Learning: A Deep Resurrection [22.918651280720855]
Semi-Supervised DML (SSDML) はいくつかのラベル付き例と豊富なラベルなし例を使ってメトリクスを学習しようとする。
例のペア間の親和性が最初に伝播するグラフベースのアプローチを提案する。
メトリクスパラメータには、より優れたパフォーマンスをもたらすため、メトリクスの制約を課します。
論文 参考訳(メタデータ) (2021-05-10T12:28:45Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳(メタデータ) (2021-02-07T20:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。