論文の概要: Feature Robust Optimal Transport for High-dimensional Data

• arxiv url: http://arxiv.org/abs/2005.12123v4
• Date: Tue, 29 Sep 2020 05:38:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 05:19:27.704978
• Title: Feature Robust Optimal Transport for High-dimensional Data
• Title（参考訳）: 高次元データに対するロバスト最適輸送
• Authors: Mathis Petrovich and Chao Liang and Ryoma Sato and Yanbin Liu and Yao-Hung Hubert Tsai and Linchao Zhu and Yi Yang and Ruslan Salakhutdinov and Makoto Yamada
• Abstract要約: 本研究では,高次元データに対する特徴量ロバスト最適輸送(FROT)を提案する。 実世界の意味対応データセットにおいて,FROTアルゴリズムが最先端の性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 125.04654605998618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimal transport is a machine learning problem with applications including distribution comparison, feature selection, and generative adversarial networks. In this paper, we propose feature-robust optimal transport (FROT) for high-dimensional data, which solves high-dimensional OT problems using feature selection to avoid the curse of dimensionality. Specifically, we find a transport plan with discriminative features. To this end, we formulate the FROT problem as a min--max optimization problem. We then propose a convex formulation of the FROT problem and solve it using a Frank--Wolfe-based optimization algorithm, whereby the subproblem can be efficiently solved using the Sinkhorn algorithm. Since FROT finds the transport plan from selected features, it is robust to noise features. To show the effectiveness of FROT, we propose using the FROT algorithm for the layer selection problem in deep neural networks for semantic correspondence. By conducting synthetic and benchmark experiments, we demonstrate that the proposed method can find a strong correspondence by determining important layers. We show that the FROT algorithm achieves state-of-the-art performance in real-world semantic correspondence datasets.
• Abstract（参考訳）: 最適輸送は、分散比較、特徴選択、生成的敵ネットワークを含む応用における機械学習問題である。 本稿では,高次元データに対する特徴量ロバスト最適輸送(FROT)を提案する。 具体的には,識別的特徴を有する輸送計画を見いだす。 そこで我々は, FROT 問題を min-max 最適化問題として定式化し, FROT 問題の凸定式化をフランク・ウルフ最適化アルゴリズムを用いて提案し, Sinkhorn アルゴリズムを用いて, サブプロブレムを効率的に解けるようにした。 FROTは、選択した特徴から輸送計画を見つけるため、ノイズの特徴に対して堅牢である。 FROTの有効性を示すために,深いニューラルネットワークの層選択問題に対するFROTアルゴリズムを用いた意味対応手法を提案する。 合成およびベンチマーク実験により,提案手法は重要な層を決定することで強い対応性を見出すことができることを示した。 実世界の意味対応データセットにおいて,FROTアルゴリズムが最先端の性能を実現することを示す。

関連論文リスト

• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• DFWLayer: Differentiable Frank-Wolfe Optimization Layer [33.20550212188619]
  ニューラルネットワークに基づく機械学習の分野において、差別化可能な最適化は基礎的な役割を担っているため、かなりの注目を集めている。 本稿では,Frank-Wolfe法をロールアウトした微分可能なFrank-Wolfe Layer (DFWLayer)を提案する。 実験の結果、DFWLayerは解と勾配の競争精度を得るだけでなく、制約に一貫して従うことを示した。
  論文  参考訳（メタデータ） (2023-08-21T15:53:38Z)
• Entropic Neural Optimal Transport via Diffusion Processes [105.34822201378763]
  本稿では,連続確率分布間のエントロピー最適輸送(EOT)計画を計算するための新しいアルゴリズムを提案する。 提案アルゴリズムは,シュリンガーブリッジ問題(Schr"odinger Bridge problem)として知られるEOTの動的バージョンのサドル点再構成に基づく。 大規模EOTの従来の手法とは対照的に,我々のアルゴリズムはエンドツーエンドであり,単一の学習ステップで構成されている。
  論文  参考訳（メタデータ） (2022-11-02T14:35:13Z)
• Fast and computationally efficient generative adversarial network algorithm for unmanned aerial vehicle-based network coverage optimization [1.2853186701496802]
  移動ネットワークにおける動的な交通需要の課題は、無人航空機をベースとした移動セルに対処されている。 将来,無人航空機の膨大な可能性を考えると,カバー範囲最適化のための新しいアルゴリズムを提案する。 提案アルゴリズムは,一意の多層和プーリング損失関数を持つ条件付き生成逆ニューラルネットワークに基づいて実装された。
  論文  参考訳（メタデータ） (2022-03-25T12:13:21Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information [78.78486761923855]
  多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。 本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。 これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
  論文  参考訳（メタデータ） (2021-04-19T17:22:11Z)
• Efficient Robust Optimal Transport with Application to Multi-Label Classification [12.521494095948068]
  OTコスト関数における対称正の半定値マハラノビス計量を用いて特徴-特徴関係をモデル化する。 結果の最適化問題を非線形OT問題とみなし,Frank-Wolfeアルゴリズムを用いて解く。 タグ予測や多クラス分類などの識別学習環境における実証的な結果から,本手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-10-22T16:43:52Z)
• COT-GAN: Generating Sequential Data via Causal Optimal Transport [4.588028371034406]
  逐次データを生成するために暗黙的な生成モデルを訓練する逆アルゴリズムであるCOT-GANを導入する。 アルゴリズムの成功は、学習のバイアスを減らしたシンクホーン発散の新たな改良版にも依存している。
  論文  参考訳（メタデータ） (2020-06-15T17:37:15Z)
• IVFS: Simple and Efficient Feature Selection for High Dimensional Topology Preservation [33.424663018395684]
  本稿では,サンプル類似性保存を向上する簡易かつ効果的な特徴選択アルゴリズムを提案する。 提案アルゴリズムは、全データの対距離と位相パターンを適切に保存することができる。
  論文  参考訳（メタデータ） (2020-04-02T23:05:00Z)
• Differentiable Top-k Operator with Optimal Transport [135.36099648554054]
  SOFTトップk演算子は、エントロピック最適輸送(EOT)問題の解として、トップk演算の出力を近似する。 提案した演算子をk-アネレスト近傍およびビーム探索アルゴリズムに適用し,性能向上を示す。
  論文  参考訳（メタデータ） (2020-02-16T04:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。