論文の概要: Efficient Optimization Methods for Extreme Similarity Learning with
Nonlinear Embeddings
- arxiv url: http://arxiv.org/abs/2010.13511v2
- Date: Tue, 15 Jun 2021 11:53:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 18:13:00.171094
- Title: Efficient Optimization Methods for Extreme Similarity Learning with
Nonlinear Embeddings
- Title（参考訳）: 非線形埋め込みを用いた極限類似性学習の効率的最適化法
- Authors: Bowen Yuan, Yu-Sheng Li, Pengrui Quan, Chih-Jen Lin
- Abstract要約: すべての可能なペアからの非線形埋め込みモデルを用いて類似性を学習する問題を考察する。
本稿では, 一般非線形埋め込みの結果を拡張することを目的としている。
- 参考スコア（独自算出の注目度）: 12.119973339250848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of learning similarity by using nonlinear embedding
models (e.g., neural networks) from all possible pairs. This problem is
well-known for its difficulty of training with the extreme number of pairs. For
the special case of using linear embeddings, many studies have addressed this
issue of handling all pairs by considering certain loss functions and
developing efficient optimization algorithms. This paper aims to extend results
for general nonlinear embeddings. First, we finish detailed derivations and
provide clean formulations for efficiently calculating some building blocks of
optimization algorithms such as function, gradient evaluation, and
Hessian-vector product. The result enables the use of many optimization methods
for extreme similarity learning with nonlinear embeddings. Second, we study
some optimization methods in detail. Due to the use of nonlinear embeddings,
implementation issues different from linear cases are addressed. In the end,
some methods are shown to be highly efficient for extreme similarity learning
with nonlinear embeddings.
- Abstract（参考訳）: すべての可能なペアから非線形埋め込みモデル(ニューラルネットワークなど)を用いて類似性を学習する問題を考察する。
この問題は、極端なペア数でトレーニングが難しいことでよく知られている。
線形埋め込みの特別な場合において、ある損失関数を考慮し、効率的な最適化アルゴリズムを開発することで全てのペアを扱うというこの問題に多くの研究が取り組んできた。
本稿では,一般非線形埋め込みの結果を拡張することを目的とする。
まず,詳細導出を終え,関数,勾配評価,ヘッセンベクトル積といった最適化アルゴリズムの構成要素を効率的に計算するためのクリーンな定式化を提供する。
その結果、非線形埋め込みを用いた極限類似性学習のための多くの最適化手法が利用可能となる。
次に,最適化手法について詳細に検討する。
非線形組込みを用いることで、線形ケースとは異なる実装の問題に対処できる。
最終的に、いくつかの手法は、非線形埋め込みによる極端な類似性学習に非常に効率的であることが示されている。
関連論文リスト
- Efficient Optimization Algorithms for Linear Adversarial Training [9.933836677441684]
逆行訓練は摂動に対して堅牢なモデルを学ぶのに使える。
本稿では,線形モデルの対数学習のための最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-16T15:41:08Z) - Learning to optimize with convergence guarantees using nonlinear system theory [0.4143603294943439]
本研究では,スムーズな目的関数に対するアルゴリズムの非制約パラメトリゼーションを提案する。
特に、私たちのフレームワークは自動微分ツールと直接互換性があります。
論文 参考訳（メタデータ） (2024-03-14T13:40:26Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:10:48Z) - Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。
本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。
本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-04T00:26:56Z) - Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。
最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。
ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
論文 参考訳（メタデータ） (2020-06-18T08:16:25Z) - Learning to Guide Random Search [111.71167792453473]
我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。
最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。
本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
論文 参考訳（メタデータ） (2020-04-25T19:21:14Z) - Learning with Differentiable Perturbed Optimizers [54.351317101356614]
本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。
提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。
本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
論文 参考訳（メタデータ） (2020-02-20T11:11:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。