論文の概要: An Efficient Mini-batch Method via Partial Transportation
- arxiv url: http://arxiv.org/abs/2108.09645v1
- Date: Sun, 22 Aug 2021 05:45:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-24 16:01:41.145842
- Title: An Efficient Mini-batch Method via Partial Transportation
- Title(参考訳): 部分輸送による効率的なミニバッチ法
- Authors: Khai Nguyen, Dang Nguyen, Tung Pham, Nhat Ho
- Abstract要約: ミニバッチ最適輸送(m-OT)は、大規模アプリケーションにおけるOTのメモリ問題に広く用いられている。
ミニバッチ実験尺度間の部分最適輸送(POT)を用いた新しいミニバッチ手法を提案する。
m-POTはm-UOTに匹敵する性能を持ちながらm-OT深部ドメイン適応アプリケーションよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 10.127116789814488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mini-batch optimal transport (m-OT) has been widely used recently to deal
with the memory issue of OT in large-scale applications. Despite their
practicality, m-OT suffers from misspecified mappings, namely, mappings that
are optimal on the mini-batch level but do not exist in the optimal
transportation plan between the original measures. To address the misspecified
mappings issue, we propose a novel mini-batch method by using partial optimal
transport (POT) between mini-batch empirical measures, which we refer to as
mini-batch partial optimal transport (m-POT). Leveraging the insight from the
partial transportation, we explain the source of misspecified mappings from the
m-OT and motivate why limiting the amount of transported masses among
mini-batches via POT can alleviate the incorrect mappings. Finally, we carry
out extensive experiments on various applications to compare m-POT with m-OT
and recently proposed mini-batch method, mini-batch unbalanced optimal
transport (m-UOT). We observe that m-POT is better than m-OT deep domain
adaptation applications while having comparable performance with m-UOT. On
other applications, such as deep generative model, gradient flow, and color
transfer, m-POT yields more favorable performance than both m-OT and m-UOT.
- Abstract(参考訳): ミニバッチ最適輸送(m-OT)は、大規模アプリケーションにおけるOTのメモリ問題に広く利用されている。
実用性にも拘わらず、m-OTは不特定マッピング、すなわち、ミニバッチレベルで最適であるが元の測度間の最適な輸送計画には存在しないマッピングに悩まされている。
そこで,本研究では,ミニバッチの最適輸送(m-POT)を,ミニバッチの最適輸送(m-POT)と呼ぶ実験値間の部分最適輸送(POT)を用いて提案する。
部分輸送からの洞察を生かして,m-otからの誤特定マッピングの原因を説明し,ポット経由のミニバッチ間の移動質量の制限が不正確なマッピングを緩和する理由を説明する。
最後に, m-POT と m-OT を比較し,最近提案したミニバッチ法, ミニバッチ不均衡最適輸送 (m-UOT) について広範な実験を行った。
我々はm-POTがm-UOTに匹敵する性能を持ちながらm-OT深部ドメイン適応アプリケーションよりも優れていることを観察した。
深部生成モデル、勾配流、色移動などの他の応用では、m-POTはm-OTおよびm-UOTよりも良好な性能が得られる。
関連論文リスト
- Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [74.58403497789422]
低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。
我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。
実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
論文 参考訳(メタデータ) (2024-02-27T07:14:12Z) - Keypoint-Guided Optimal Transport [85.396726225935]
最適マッチングを探索するリレーション保存(KPG-RL)によるキーポイント誘導モデルを提案する。
提案した KPG-RL モデルはシンクホーンのアルゴリズムで解くことができ、異なる空間で分布がサポートされている場合でも適用可能である。
二重KPG-RLからの学習された輸送計画に基づき、ターゲット領域にソースデータを転送する新しい多様体バリ中心射影を提案する。
論文 参考訳(メタデータ) (2023-03-23T08:35:56Z) - AdaMix: Mixture-of-Adaptations for Parameter-efficient Model Tuning [112.97430455461097]
本稿では,各トランスフォーマー層に導入される適応モジュールの混合を調整し,PLMの重みの大半を凍結させながら,汎用PEFT法を提案する。
PLMパラメータの0.1-0.2%だけをチューニングすることにより、AdaMix は NLU および NLG のタスクに対して SOTA パラメータ効率の良い微調整およびフルモデル微調整より優れていることを示す。
論文 参考訳(メタデータ) (2022-10-31T16:23:36Z) - Budget-Constrained Bounds for Mini-Batch Estimation of Optimal Transport [35.440243358517066]
我々は,ミニバッチOT問題の解を集約して構築した最適輸送問題に対して,上下境界の新たなファミリーを導入する。
上界ファミリーは、一方の極端における従来のミニバッチ平均化と、もう一方の極端におけるミニバッチの最適結合によって見出されるタイトな境界を含む。
様々な実験を通じて,計算予算と拘束力のトレードオフについて検討し,コンピュータビジョン応用におけるこれらの境界の有用性を示す。
論文 参考訳(メタデータ) (2022-10-24T22:12:17Z) - Low-rank Optimal Transport: Approximation, Statistics and Debiasing [51.50788603386766]
フロゼットボン2021ローランで提唱された低ランク最適輸送(LOT)アプローチ
LOTは興味のある性質と比較した場合、エントロピー正則化の正当な候補と見なされる。
本稿では,これらの領域のそれぞれを対象とし,計算OTにおける低ランクアプローチの影響を補強する。
論文 参考訳(メタデータ) (2022-05-24T20:51:37Z) - Approximating Optimal Transport via Low-rank and Sparse Factorization [19.808887459724893]
最適なトランスポート(OT)は、様々な機械学習アプリケーションで自然に発生するが、しばしば計算ボトルネックとなる。
輸送計画を低ランク行列とスパース行列の和に分解できる新しいOT近似法を提案する。
論文 参考訳(メタデータ) (2021-11-12T03:10:45Z) - Learning Space Partitions for Path Planning [54.475949279050596]
PlaLaMは2次元ナビゲーションタスクにおける既存の経路計画手法よりも優れており、特に難解な局所最適化の存在下では優れている。
これらは高マルチモーダルな実世界のタスクに移行し、コンパイラフェーズでは最大245%、分子設計では最大0.4の強いベースラインを0-1スケールで上回ります。
論文 参考訳(メタデータ) (2021-06-19T18:06:11Z) - Unbalanced minibatch Optimal Transport; applications to Domain
Adaptation [8.889304968879163]
最適輸送距離は、非パラメトリック確率分布を比較するための機械学習の能力に多くの応用を見出した。
我々は、同じミニバッチ戦略と不均衡な最適輸送が組み合わさって、より堅牢な振る舞いをもたらすと論じる。
実験により, 領域適応に関する課題において, 不均衡な最適移動の利用は, 最近のベースラインと競合するか, はるかに良好な結果をもたらすことが示された。
論文 参考訳(メタデータ) (2021-03-05T11:15:47Z) - BoMb-OT: On Batch of Mini-batches Optimal Transport [23.602237930502948]
ミニバッチ最適輸送(m-OT)は、難縮密度の確率測度を含む実用的な応用に成功している。
我々は,Batch of Mini-batches Optimal Transport (BoMb-OT)という,最適輸送のための新しいミニバッチ方式を提案する。
この新しいミニバッチ方式は,m-OTよりも2つの当初の手段間のよりよい交通計画を推定できることを示す。
論文 参考訳(メタデータ) (2021-02-11T09:56:25Z) - Minibatch optimal transport distances; analysis and applications [9.574645423576932]
最適輸送距離は確率分布を比較するための古典的なツールとなり、機械学習に多くの応用を見出した。
一般的な回避策は、これらの距離をミニバッチで計算して、いくつかの小さな最適な輸送問題の結果の平均化です。
本稿では,本手法の広範な分析を行い,その効果を限定したケースで検討した。
論文 参考訳(メタデータ) (2021-01-05T21:29:31Z) - FLOT: Scene Flow on Point Clouds Guided by Optimal Transport [82.86743909483312]
本稿では,点雲上のシーンフローを推定するFLOT法を提案する。
グラフマッチングに関する最近の研究に触発されて、最適な輸送手段からツールを借りてこれらの対応を見つける方法を構築した。
私たちの主な発見は、FLOTは、合成および実世界のデータセット上で、最も優れた既存の方法と同様に、実行可能であることです。
論文 参考訳(メタデータ) (2020-07-22T00:15:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。