論文の概要: DeepEMD: A Transformer-based Fast Estimation of the Earth Mover's Distance

• arxiv url: http://arxiv.org/abs/2311.09998v1
• Date: Thu, 16 Nov 2023 16:14:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 13:41:25.968032
• Title: DeepEMD: A Transformer-based Fast Estimation of the Earth Mover's Distance
• Title（参考訳）: deepemd:地球移動者の距離を高速に推定するトランスフォーマー
• Authors: Atul Kumar Sinha, Francois Fleuret
• Abstract要約: アース・マーバーの距離(アース・マーバーのざい、英: Earth Mover's Distance)は、点雲間の選択の尺度である。 計算に要する計算コストは トレーニング損失として禁じられます 正確な近似を計算するための注意モデルを提案する。
• 参考スコア（独自算出の注目度）: 1.450405446885067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Earth Mover's Distance (EMD) is the measure of choice between point clouds. However the computational cost to compute it makes it prohibitive as a training loss, and the standard approach is to use a surrogate such as the Chamfer distance. We propose an attention-based model to compute an accurate approximation of the EMD that can be used as a training loss for generative models. To get the necessary accurate estimation of the gradients we train our model to explicitly compute the matching between point clouds instead of EMD itself. We cast this new objective as the estimation of an attention matrix that approximates the ground truth matching matrix. Experiments show that this model provides an accurate estimate of the EMD and its gradient with a wall clock speed-up of more than two orders of magnitude with respect to the exact Hungarian matching algorithm and one order of magnitude with respect to the standard approximate Sinkhorn algorithm, allowing in particular to train a point cloud VAE with the EMD itself. Extensive evaluation show the remarkable behaviour of this model when operating out-of-distribution, a key requirement for a distance surrogate. Finally, the model generalizes very well to point clouds during inference several times larger than during training.
• Abstract（参考訳）: アース・マーバー距離(Earth Mover's Distance、EMD)は、点雲間の選択の尺度である。 しかし、計算に要する計算コストは、トレーニング損失として禁じられ、標準的なアプローチは、チャンファー距離のようなサロゲートを使用することである。 生成モデルのトレーニング損失として使用できるEMDの正確な近似を計算するために,注意に基づくモデルを提案する。 勾配を正確に推定するためには、EMD自身ではなく点雲間のマッチングを明示的に計算するようにモデルを訓練する。 我々は、この新たな目的を、基底真理マッチング行列を近似する注目行列の推定として用いた。 実験により、このモデルは、ハンガリーの正確なマッチングアルゴリズムに対して2桁以上の壁時計のスピードアップと、標準近似シンクホーンアルゴリズムに対して1桁のマグニチュードの精度でEMDとその勾配を正確に推定し、特に、EMD自身で点雲VAEを訓練できることが示されている。 広汎な評価は、距離サロゲートの重要な要件であるアウト・オブ・ディストリビューションの操作において、このモデルの顕著な挙動を示す。 最後に、モデルはトレーニングの何倍も大きい推論の間、点雲に非常によく一般化する。

関連論文リスト

• Sparse Backpropagation for MoE Training [118.31785160874024]
  バックプロパゲーションとスパースエキスパートルーティングのギャップを埋めるスケーラブルな勾配推定器であるSparseMixerを紹介する。 SparseMixerは数値的なODEフレームワークを基盤として、2階のODEソルバであるミドルポイント法を利用して正確な勾配近似を行う。 事前トレーニングと機械翻訳の両方にSparseMixerをSwitch Transformerに適用すると、SparseMixerのパフォーマンスは大幅に向上する。
  論文  参考訳（メタデータ） (2023-10-01T22:43:57Z)
• On the optimization and pruning for Bayesian deep learning [1.0152838128195467]
  重み空間上でニューラルネットワークを学習するための適応型変分ベイズアルゴリズムを提案する。 EM-MCMCアルゴリズムにより,ワンショットで最適化とモデルプルーニングを行うことができる。 我々の密度モデルは最先端の性能に到達でき、スパースモデルは以前提案したプルーニング方式と比較して非常によく機能する。
  論文  参考訳（メタデータ） (2022-10-24T05:18:08Z)
• Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
  そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。 幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
  論文  参考訳（メタデータ） (2022-08-19T19:42:41Z)
• Adapting the Mean Teacher for keypoint-based lung registration under geometric domain shifts [75.51482952586773]
  ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。 本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。 本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
  論文  参考訳（メタデータ） (2022-07-01T12:16:42Z)
• Transformer-based Map Matching Model with Limited Ground-Truth Data using Transfer-Learning Approach [6.510061176722248]
  多くのトラジェクトリベースのアプリケーションでは、生のGPSトラジェクトリをデジタルマップの道路網にマッピングする必要がある。 本稿では,データの観点から地図マッチングの課題を考察し,深層学習に基づく地図マッチングモデルを提案する。 合成軌道データを生成し,トランスフォーマーモデルを事前学習し,有限個の接地トラスデータでモデルを微調整する。
  論文  参考訳（メタデータ） (2021-08-01T11:51:11Z)
• Data-Driven Shadowgraph Simulation of a 3D Object [50.591267188664666]
  我々は、数値コードをより安価でプロジェクションベースのサロゲートモデルに置き換えている。 このモデルは、数値的な方法で必要となるすべての前の電場を計算することなく、所定の時間で電場を近似することができる。 このモデルでは, シミュレーションパラメータの狭い範囲におけるデータの摂動問題において, 高品質な再構成が示されており, 大規模な入力データに利用することができる。
  論文  参考訳（メタデータ） (2021-06-01T08:46:04Z)
• MongeNet: Efficient Sampler for Geometric Deep Learning [17.369783838267942]
  MongeNetは高速かつ最適なトランスポートベースのサンプリングツールで、より優れた近似特性を備えたメッシュの正確な識別を可能にする。 本手法をユビキタスなランダムな一様サンプリングと比較し,近似誤差がほぼ半分であり,計算オーバーヘッドが非常に小さいことを示す。
  論文  参考訳（メタデータ） (2021-04-29T17:59:01Z)
• Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
  質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。 以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
  論文  参考訳（メタデータ） (2021-04-21T00:35:32Z)
• Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains [34.77971292478243]
  変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。 ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。 偏りのない推定器を装着したVAEは予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-10-05T08:11:55Z)
• Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
  局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。 本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。 実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
  論文  参考訳（メタデータ） (2020-07-20T12:07:48Z)
• PointNetKL: Deep Inference for GICP Covariance Estimation in Bathymetric SLAM [2.064612766965483]
  本稿では,ポイントネットを用いたポイントクラウド登録の不確実性を推定する新しい手法を提案する。 我々は、このネットワークを、学習された不確実性分布とモンテカルロ法で計算された分散KLを用いて訓練する。 自律型水中車両を用いたSLAMの用途に適用した一般モデルの性能を検証した。
  論文  参考訳（メタデータ） (2020-03-24T15:44:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。