論文の概要: Sparse online relative similarity learning

• arxiv url: http://arxiv.org/abs/2104.07501v1
• Date: Thu, 15 Apr 2021 14:50:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:12:14.745410
• Title: Sparse online relative similarity learning
• Title（参考訳）: Sparse Online relative similarity learning
• Authors: Dezhong Yao, Peilin Zhao, Chen Yu, Hai Jin, Bin Li
• Abstract要約: 学習プロセス中にスパースモデルを学習するSparse Online Relative Likeity(SORS)学習アルゴリズムを紹介します。 提案アルゴリズムを理論的に解析し,実世界の高次元データセット上で評価する。
• 参考スコア（独自算出の注目度）: 39.558453891742175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For many data mining and machine learning tasks, the quality of a similarity measure is the key for their performance. To automatically find a good similarity measure from datasets, metric learning and similarity learning are proposed and studied extensively. Metric learning will learn a Mahalanobis distance based on positive semi-definite (PSD) matrix, to measure the distances between objectives, while similarity learning aims to directly learn a similarity function without PSD constraint so that it is more attractive. Most of the existing similarity learning algorithms are online similarity learning method, since online learning is more scalable than offline learning. However, most existing online similarity learning algorithms learn a full matrix with d 2 parameters, where d is the dimension of the instances. This is clearly inefficient for high dimensional tasks due to its high memory and computational complexity. To solve this issue, we introduce several Sparse Online Relative Similarity (SORS) learning algorithms, which learn a sparse model during the learning process, so that the memory and computational cost can be significantly reduced. We theoretically analyze the proposed algorithms, and evaluate them on some real-world high dimensional datasets. Encouraging empirical results demonstrate the advantages of our approach in terms of efficiency and efficacy.
• Abstract（参考訳）: 多くのデータマイニングや機械学習のタスクでは、類似度尺度の品質がパフォーマンスの鍵となります。 データセットから良質な類似度尺度を自動的に見つけ出すために,距離学習と類似度学習を提案する。 距離学習は、正の半定値(PSD)行列に基づいてマハラノビス距離を学習し、目的間の距離を測定する一方、類似性学習はPSD制約なしで直接類似性関数を学習し、より魅力的なものにすることを目的としている。 オンライン学習はオフライン学習よりもスケーラブルであるため、既存の類似学習アルゴリズムのほとんどはオンライン類似学習方式である。 しかし、既存のオンライン類似性学習アルゴリズムの多くは、dがインスタンスの次元であるd2パラメータで完全な行列を学習する。 これは高メモリと計算の複雑さのため、高次元タスクでは明らかに非効率である。 この問題を解決するために,学習プロセス中にスパースモデルを学習し,メモリと計算コストを大幅に削減する,複数のSparse Online Relative similarity (SORS)学習アルゴリズムを導入する。 提案アルゴリズムを理論的に解析し,実世界の高次元データセット上で評価する。 実験結果の増大は,効率と有効性の観点から,我々のアプローチの利点を示している。

関連論文リスト

• Performance and Energy Consumption of Parallel Machine Learning Algorithms [0.0]
  機械学習モデルは、様々な現実世界のアプリケーションで顕著な成功を収めた。 機械学習のモデルトレーニングには、大規模データセットと複数のイテレーションが必要である。 トレーニングアルゴリズムの並列化は、トレーニングのプロセスを高速化するための一般的な戦略である。
  論文  参考訳（メタデータ） (2023-05-01T13:04:39Z)
• Benchmarking Learning Efficiency in Deep Reservoir Computing [23.753943709362794]
  我々は、機械学習モデルがトレーニングデータからいかに早く学習するかを測定するために、データ効率の指標とともに、ますます困難なタスクのベンチマークを導入する。 我々は、RNN、LSTM、Transformersなどの確立された逐次教師付きモデルの学習速度を、貯水池計算に基づく比較的知られていない代替モデルと比較する。
  論文  参考訳（メタデータ） (2022-09-29T08:16:52Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Sublinear Time Approximation of Text Similarity Matrices [50.73398637380375]
  一般的なNystr"om法を不確定な設定に一般化する。 我々のアルゴリズムは任意の類似性行列に適用でき、行列のサイズでサブ線形時間で実行される。 本手法は,CUR分解の単純な変種とともに,様々な類似性行列の近似において非常によく機能することを示す。
  論文  参考訳（メタデータ） (2021-12-17T17:04:34Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Towards Interpretable Deep Metric Learning with Structural Matching [86.16700459215383]
  より透過的な埋め込み学習のための深層解釈可能なメトリック学習(DIML)法を提案する。 本手法は,既製のバックボーンネットワークやメトリック学習手法に適用可能な,モデルに依存しない手法である。 我々は,CUB200-2011,Cars196,Stanford Online Productsの3つの大規模メトリクス学習ベンチマークで評価を行った。
  論文  参考訳（メタデータ） (2021-08-12T17:59:09Z)
• A Taxonomy of Similarity Metrics for Markov Decision Processes [62.997667081978825]
  近年、伝達学習は強化学習(RL)アルゴリズムをより効率的にすることに成功した。 本稿では,これらの指標を分類し,これまでに提案されている類似性の定義を分析する。
  論文  参考訳（メタデータ） (2021-03-08T12:36:42Z)
• Low-Rank Robust Online Distance/Similarity Learning based on the Rescaled Hinge Loss [0.34376560669160383]
  既存のオンライン手法では、トレーニング三つ子やペアの制約が事前に存在すると仮定することが多い。 オンライン距離相似学習問題を,ロバストな再スケールヒンジ損失関数を用いて定式化する。 提案モデルは比較的汎用的で,任意のPAベースのオンラインディスタンス・シミュラリティアルゴリズムに適用可能である。
  論文  参考訳（メタデータ） (2020-10-07T08:38:34Z)
• Deep Reinforcement Learning for Adaptive Learning Systems [4.8685842576962095]
  学習者の潜在特性に基づいて,個別化学習計画の探索方法の問題点を定式化する。 最適な学習ポリシーを効果的に見つけることができるモデルフリーの深層強化学習アルゴリズムを適用した。 また,ニューラルネットワークを用いて学習者の学習過程をエミュレートする遷移モデル推定器を開発した。
  論文  参考訳（メタデータ） (2020-04-17T18:04:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。