論文の概要: Low-rank Optimal Transport: Approximation, Statistics and Debiasing

• arxiv url: http://arxiv.org/abs/2205.12365v1
• Date: Tue, 24 May 2022 20:51:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-29 03:08:35.369975
• Title: Low-rank Optimal Transport: Approximation, Statistics and Debiasing
• Title（参考訳）: 低位最適輸送:近似、統計、デバイアス
• Authors: Meyer Scetbon, Marco Cuturi
• Abstract要約: フロゼットボン2021ローランで提唱された低ランク最適輸送(LOT)アプローチ LOTは興味のある性質と比較した場合、エントロピー正則化の正当な候補と見なされる。 本稿では,これらの領域のそれぞれを対象とし,計算OTにおける低ランクアプローチの影響を補強する。
• 参考スコア（独自算出の注目度）: 51.50788603386766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The matching principles behind optimal transport (OT) play an increasingly important role in machine learning, a trend which can be observed when OT is used to disambiguate datasets in applications (e.g. single-cell genomics) or used to improve more complex methods (e.g. balanced attention in transformers or self-supervised learning). To scale to more challenging problems, there is a growing consensus that OT requires solvers that can operate on millions, not thousands, of points. The low-rank optimal transport (LOT) approach advocated in \cite{scetbon2021lowrank} holds several promises in that regard, and was shown to complement more established entropic regularization approaches, being able to insert itself in more complex pipelines, such as quadratic OT. LOT restricts the search for low-cost couplings to those that have a low-nonnegative rank, yielding linear time algorithms in cases of interest. However, these promises can only be fulfilled if the LOT approach is seen as a legitimate contender to entropic regularization when compared on properties of interest, where the scorecard typically includes theoretical properties (statistical bounds, relation to other methods) or practical aspects (debiasing, hyperparameter tuning, initialization). We target each of these areas in this paper in order to cement the impact of low-rank approaches in computational OT.
• Abstract（参考訳）: 最適なトランスポート(ot)の背後にあるマッチング原則は、機械学習においてますます重要な役割を担っており、otがアプリケーション内のデータセット(例えば、シングルセルゲノミクス)の曖昧さを解消したり、より複雑な方法(例えば、トランスフォーマーや自己教師付き学習におけるバランスのとれた注意)を改善するために使用される場合に見られるトレンドである。 より困難な問題にスケールするためには、OTが数千ポイントではなく数百万のポイントで動作可能な解決器を必要とするという意見が増えている。 低ランク最適輸送 (LOT) アプローチは、それに関していくつかの約束を持ち、より確立されたエントロピー正則化アプローチを補完し、二次OTのようなより複雑なパイプラインに自己を挿入できることが示されている。 LOTは低コスト結合の探索を低負ランクのものに制限し、興味のある場合には線形時間アルゴリズムを生成する。 しかし、これらの約束は、LOTアプローチが興味のある性質(統計的境界、他の方法との関係)や実践的側面(偏り、ハイパーパラメータチューニング、初期化)を含む場合、興味のある性質と比較してエントロピー正則化の正当な競合と見なされる場合にのみ達成できる。 本稿では,これらの領域のそれぞれを対象とし,計算OTにおける低ランクアプローチの影響を補強する。

関連論文リスト

• Sample-Efficient Clustering and Conquer Procedures for Parallel Large-Scale Ranking and Selection [0.0]
  並列コンピューティング環境では、相関ベースのクラスタリングは$mathcalO(p)$サンプル複雑性低減率を達成することができる。 ニューラルアーキテクチャ検索のような大規模AIアプリケーションでは、スクリーニングなしバージョンの手順が、サンプル効率の点で完全に順序づけられたベンチマークを驚くほど上回っている。
  論文  参考訳（メタデータ） (2024-02-03T15:56:03Z)
• Energy-Guided Continuous Entropic Barycenter Estimation for General Costs [95.33926437521046]
  任意のOTコスト関数に対して連続的エントロピーOT(EOT)バリセンタを近似する新しいアルゴリズムを提案する。 本手法は、弱いOTに基づくEOT問題の二重再構成に基づいている。
  論文  参考訳（メタデータ） (2023-10-02T11:24:36Z)
• Entropic Neural Optimal Transport via Diffusion Processes [105.34822201378763]
  本稿では,連続確率分布間のエントロピー最適輸送(EOT)計画を計算するための新しいアルゴリズムを提案する。 提案アルゴリズムは,シュリンガーブリッジ問題(Schr"odinger Bridge problem)として知られるEOTの動的バージョンのサドル点再構成に基づく。 大規模EOTの従来の手法とは対照的に,我々のアルゴリズムはエンドツーエンドであり,単一の学習ステップで構成されている。
  論文  参考訳（メタデータ） (2022-11-02T14:35:13Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Tesseract: Tensorised Actors for Multi-Agent Reinforcement Learning [92.05556163518999]
  MARLは、コミュニケーションと可観測性に様々な制約を課すことによって、問題を悪化させる。 値ベースの手法では、最適な値関数を正確に表現することが課題となる。 政策勾配法では、批判者の訓練を困難にし、遅れる批判者の問題を悪化させる。 学習理論の観点からは、関連するアクション値関数を正確に表現することで、両方の問題に対処できることが示される。
  論文  参考訳（メタデータ） (2021-05-31T23:08:05Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Unbalanced minibatch Optimal Transport; applications to Domain Adaptation [8.889304968879163]
  最適輸送距離は、非パラメトリック確率分布を比較するための機械学習の能力に多くの応用を見出した。 我々は、同じミニバッチ戦略と不均衡な最適輸送が組み合わさって、より堅牢な振る舞いをもたらすと論じる。 実験により, 領域適応に関する課題において, 不均衡な最適移動の利用は, 最近のベースラインと競合するか, はるかに良好な結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-03-05T11:15:47Z)
• Minibatch optimal transport distances; analysis and applications [9.574645423576932]
  最適輸送距離は確率分布を比較するための古典的なツールとなり、機械学習に多くの応用を見出した。 一般的な回避策は、これらの距離をミニバッチで計算して、いくつかの小さな最適な輸送問題の結果の平均化です。 本稿では,本手法の広範な分析を行い,その効果を限定したケースで検討した。
  論文  参考訳（メタデータ） (2021-01-05T21:29:31Z)
• Regularized Optimal Transport is Ground Cost Adversarial [34.81915836064636]
  最適輸送問題の正則化は, 地価逆数と解釈できることを示す。 これにより、地上空間上のロバストな異性度測度にアクセスでき、他のアプリケーションで使用することができる。
  論文  参考訳（メタデータ） (2020-02-10T17:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。