論文の概要: Low-Rank Robust Online Distance/Similarity Learning based on the
Rescaled Hinge Loss
- arxiv url: http://arxiv.org/abs/2010.03268v2
- Date: Sat, 10 Oct 2020 09:30:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 21:50:59.917655
- Title: Low-Rank Robust Online Distance/Similarity Learning based on the
Rescaled Hinge Loss
- Title(参考訳): 再スケールヒンジ損失に基づく低ランクロバストオンライン距離・類似性学習
- Authors: Davood Zabihzadeh, Amar Tuama, Ali Karami-Mollaee
- Abstract要約: 既存のオンライン手法では、トレーニング三つ子やペアの制約が事前に存在すると仮定することが多い。
オンライン距離相似学習問題を,ロバストな再スケールヒンジ損失関数を用いて定式化する。
提案モデルは比較的汎用的で,任意のPAベースのオンラインディスタンス・シミュラリティアルゴリズムに適用可能である。
- 参考スコア(独自算出の注目度): 0.34376560669160383
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An important challenge in metric learning is scalability to both size and
dimension of input data. Online metric learning algorithms are proposed to
address this challenge. Existing methods are commonly based on (Passive
Aggressive) PA approach. Hence, they can rapidly process large volumes of data
with an adaptive learning rate. However, these algorithms are based on the
Hinge loss and so are not robust against outliers and label noise. Also,
existing online methods usually assume training triplets or pairwise
constraints are exist in advance. However, many datasets in real-world
applications are in the form of input data and their associated labels. We
address these challenges by formulating the online Distance-Similarity learning
problem with the robust Rescaled hinge loss function. The proposed model is
rather general and can be applied to any PA-based online Distance-Similarity
algorithm. Also, we develop an efficient robust one-pass triplet construction
algorithm. Finally, to provide scalability in high dimensional DML
environments, the low-rank version of the proposed methods is presented that
not only reduces the computational cost significantly but also keeps the
predictive performance of the learned metrics. Also, it provides a
straightforward extension of our methods for deep Distance-Similarity learning.
We conduct several experiments on datasets from various applications. The
results confirm that the proposed methods significantly outperform
state-of-the-art online DML methods in the presence of label noise and outliers
by a large margin.
- Abstract(参考訳): メトリック学習における重要な課題は、入力データのサイズと寸法の両方に対するスケーラビリティである。
この課題に対処するために、オンラインメトリック学習アルゴリズムが提案されている。
既存の手法は一般的に(Passive Aggressive) PAアプローチに基づいている。
したがって、適応学習レートで大量のデータを迅速に処理することができる。
しかし、これらのアルゴリズムはヒンジ損失に基づいているため、外れ値やラベルノイズに対して堅牢ではない。
また、既存のオンラインメソッドは通常、トレーニングトリプレットやペアワイズ制約が事前に存在すると仮定する。
しかし、現実世界のアプリケーションにおける多くのデータセットは、入力データとその関連ラベルの形で存在する。
我々は,オンライン距離類似性学習問題をロバストなリスケールドヒンジ損失関数を用いて定式化することにより,これらの課題に対処した。
提案モデルは比較的汎用的で,任意のPAベースのオンラインディスタンス・シミュラリティアルゴリズムに適用可能である。
また,効率的なロバストな1パス三重項構成アルゴリズムを開発した。
最後に,高次元DML環境でのスケーラビリティを実現するため,提案手法の低ランクバージョンは,計算コストを大幅に削減するだけでなく,学習したメトリクスの予測性能も維持する。
また,深部距離類似性学習のための手法の簡単な拡張も提供する。
我々は様々なアプリケーションからデータセットについていくつかの実験を行う。
その結果,提案手法はラベルノイズやアウトレーヤの存在下で,最先端のオンラインDML手法よりも大幅に優れていたことが確認された。
関連論文リスト
- Fighting Uncertainty with Gradients: Offline Reinforcement Learning via
Diffusion Score Matching [22.461036967440723]
我々は不確実性指標としてデータへのスムーズな距離について検討し、2つの有益な性質を持つと主張している。
スコアマッチング技術を用いて,これらの勾配を効率的に学習できることを示す。
本研究では,高次元問題における一階計画を実現するためのスコアガイドプランニング(SGP)を提案する。
論文 参考訳(メタデータ) (2023-06-24T23:40:58Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳(メタデータ) (2022-08-11T22:27:22Z) - A Survey of Learning on Small Data: Generalization, Optimization, and
Challenge [101.27154181792567]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。
この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。
効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文 参考訳(メタデータ) (2022-07-29T02:34:19Z) - One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive
Least-Squares [8.443742714362521]
我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。
我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。
本実験では,提案手法の有効性をベースラインと比較した。
論文 参考訳(メタデータ) (2022-07-28T02:01:31Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳(メタデータ) (2021-11-23T18:10:48Z) - IQ-Learn: Inverse soft-Q Learning for Imitation [95.06031307730245]
少数の専門家データからの模倣学習は、複雑な力学を持つ高次元環境では困難である。
行動クローニングは、実装の単純さと安定した収束性のために広く使われている単純な方法である。
本稿では,1つのQ-関数を学習することで,対向学習を回避する動的適応型ILを提案する。
論文 参考訳(メタデータ) (2021-06-23T03:43:10Z) - Towards Self-Adaptive Metric Learning On the Fly [16.61982837441342]
我々は,適応的メトリック関数をオンザフライで学習する上で,オンライン適応メトリック学習(OAML)のオープンな課題に対処することを目指している。
従来のオンラインメトリック学習とは異なり、学習されたメトリックは非線形であり、モデルは自己適応的である必要があるため、OAMLははるかに困難である。
制約の流れから適応モデルの複雑性を備えたANNベースのメトリクスを学習することで、この課題に取り組む新しいオンラインメトリック学習フレームワークを紹介します。
論文 参考訳(メタデータ) (2021-04-03T23:11:52Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳(メタデータ) (2020-12-13T03:41:52Z) - An Online Method for A Class of Distributionally Robust Optimization
with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。
本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文 参考訳(メタデータ) (2020-06-17T20:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。