論文の概要: An Efficient Mini-batch Method via Partial Transportation

• arxiv url: http://arxiv.org/abs/2108.09645v1
• Date: Sun, 22 Aug 2021 05:45:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-24 16:01:41.145842
• Title: An Efficient Mini-batch Method via Partial Transportation
• Title（参考訳）: 部分輸送による効率的なミニバッチ法
• Authors: Khai Nguyen, Dang Nguyen, Tung Pham, Nhat Ho
• Abstract要約: ミニバッチ最適輸送(m-OT)は、大規模アプリケーションにおけるOTのメモリ問題に広く用いられている。 ミニバッチ実験尺度間の部分最適輸送(POT)を用いた新しいミニバッチ手法を提案する。 m-POTはm-UOTに匹敵する性能を持ちながらm-OT深部ドメイン適応アプリケーションよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 10.127116789814488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mini-batch optimal transport (m-OT) has been widely used recently to deal with the memory issue of OT in large-scale applications. Despite their practicality, m-OT suffers from misspecified mappings, namely, mappings that are optimal on the mini-batch level but do not exist in the optimal transportation plan between the original measures. To address the misspecified mappings issue, we propose a novel mini-batch method by using partial optimal transport (POT) between mini-batch empirical measures, which we refer to as mini-batch partial optimal transport (m-POT). Leveraging the insight from the partial transportation, we explain the source of misspecified mappings from the m-OT and motivate why limiting the amount of transported masses among mini-batches via POT can alleviate the incorrect mappings. Finally, we carry out extensive experiments on various applications to compare m-POT with m-OT and recently proposed mini-batch method, mini-batch unbalanced optimal transport (m-UOT). We observe that m-POT is better than m-OT deep domain adaptation applications while having comparable performance with m-UOT. On other applications, such as deep generative model, gradient flow, and color transfer, m-POT yields more favorable performance than both m-OT and m-UOT.
• Abstract（参考訳）: ミニバッチ最適輸送(m-OT)は、大規模アプリケーションにおけるOTのメモリ問題に広く利用されている。 実用性にも拘わらず、m-OTは不特定マッピング、すなわち、ミニバッチレベルで最適であるが元の測度間の最適な輸送計画には存在しないマッピングに悩まされている。 そこで,本研究では,ミニバッチの最適輸送(m-POT)を,ミニバッチの最適輸送(m-POT)と呼ぶ実験値間の部分最適輸送(POT)を用いて提案する。 部分輸送からの洞察を生かして,m-otからの誤特定マッピングの原因を説明し,ポット経由のミニバッチ間の移動質量の制限が不正確なマッピングを緩和する理由を説明する。 最後に, m-POT と m-OT を比較し,最近提案したミニバッチ法, ミニバッチ不均衡最適輸送 (m-UOT) について広範な実験を行った。 我々はm-POTがm-UOTに匹敵する性能を持ちながらm-OT深部ドメイン適応アプリケーションよりも優れていることを観察した。 深部生成モデル、勾配流、色移動などの他の応用では、m-POTはm-OTおよびm-UOTよりも良好な性能が得られる。

関連論文リスト

• Mini-Sequence Transformer: Optimizing Intermediate Memory for Long Sequences Training [78.93900796545523]
  ミニシーケンス変換器(Mini-Sequence Transformer, MsT)は、非常に長いシーケンスを持つ高速かつ高精度なLLMトレーニング手法である。 MsTは入力シーケンスを分割し、中間メモリ使用量を減らすためにミニシーケンスを反復的に処理する。 huggingfaceライブラリと統合され、MsTはQwen、Mistral、Gemma-2の最大コンテキスト長を12-24倍に拡張した。
  論文  参考訳（メタデータ） (2024-07-22T01:52:30Z)
• Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
  PaLoRAは、タスク固有の低ランクアダプタでオリジナルのモデルを拡張する、新しいパラメータ効率の手法である。 実験の結果,PaLoRAは様々なデータセットでMTLとPFLのベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-07-10T21:25:51Z)
• MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies [85.57899012821211]
  SLM(Small Language Models)は、LLM(Large Language Models)に代わるリソース効率の高いモデルである。 我々はMiniCPM、特に1.2Bと2.4Bの非埋め込みパラメータの変種を紹介する。 また、MiniCPM-DPO、MiniCPM-MoE、MiniCPM-128Kを含むMiniCPMファミリーについても紹介する。
  論文  参考訳（メタデータ） (2024-04-09T15:36:50Z)
• AdaMix: Mixture-of-Adaptations for Parameter-efficient Model Tuning [112.97430455461097]
  本稿では,各トランスフォーマー層に導入される適応モジュールの混合を調整し,PLMの重みの大半を凍結させながら,汎用PEFT法を提案する。 PLMパラメータの0.1-0.2%だけをチューニングすることにより、AdaMix は NLU および NLG のタスクに対して SOTA パラメータ効率の良い微調整およびフルモデル微調整より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-31T16:23:36Z)
• Budget-Constrained Bounds for Mini-Batch Estimation of Optimal Transport [35.440243358517066]
  我々は,ミニバッチOT問題の解を集約して構築した最適輸送問題に対して,上下境界の新たなファミリーを導入する。 上界ファミリーは、一方の極端における従来のミニバッチ平均化と、もう一方の極端におけるミニバッチの最適結合によって見出されるタイトな境界を含む。 様々な実験を通じて,計算予算と拘束力のトレードオフについて検討し,コンピュータビジョン応用におけるこれらの境界の有用性を示す。
  論文  参考訳（メタデータ） (2022-10-24T22:12:17Z)
• Low-rank Optimal Transport: Approximation, Statistics and Debiasing [51.50788603386766]
  フロゼットボン2021ローランで提唱された低ランク最適輸送(LOT)アプローチ LOTは興味のある性質と比較した場合、エントロピー正則化の正当な候補と見なされる。 本稿では,これらの領域のそれぞれを対象とし,計算OTにおける低ランクアプローチの影響を補強する。
  論文  参考訳（メタデータ） (2022-05-24T20:51:37Z)
• Approximating Optimal Transport via Low-rank and Sparse Factorization [19.808887459724893]
  最適なトランスポート(OT)は、様々な機械学習アプリケーションで自然に発生するが、しばしば計算ボトルネックとなる。 輸送計画を低ランク行列とスパース行列の和に分解できる新しいOT近似法を提案する。
  論文  参考訳（メタデータ） (2021-11-12T03:10:45Z)
• Learning Space Partitions for Path Planning [54.475949279050596]
  PlaLaMは2次元ナビゲーションタスクにおける既存の経路計画手法よりも優れており、特に難解な局所最適化の存在下では優れている。 これらは高マルチモーダルな実世界のタスクに移行し、コンパイラフェーズでは最大245%、分子設計では最大0.4の強いベースラインを0-1スケールで上回ります。
  論文  参考訳（メタデータ） (2021-06-19T18:06:11Z)
• Unbalanced minibatch Optimal Transport; applications to Domain Adaptation [8.889304968879163]
  最適輸送距離は、非パラメトリック確率分布を比較するための機械学習の能力に多くの応用を見出した。 我々は、同じミニバッチ戦略と不均衡な最適輸送が組み合わさって、より堅牢な振る舞いをもたらすと論じる。 実験により, 領域適応に関する課題において, 不均衡な最適移動の利用は, 最近のベースラインと競合するか, はるかに良好な結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-03-05T11:15:47Z)
• BoMb-OT: On Batch of Mini-batches Optimal Transport [23.602237930502948]
  ミニバッチ最適輸送(m-OT)は、難縮密度の確率測度を含む実用的な応用に成功している。 我々は,Batch of Mini-batches Optimal Transport (BoMb-OT)という,最適輸送のための新しいミニバッチ方式を提案する。 この新しいミニバッチ方式は,m-OTよりも2つの当初の手段間のよりよい交通計画を推定できることを示す。
  論文  参考訳（メタデータ） (2021-02-11T09:56:25Z)
• Minibatch optimal transport distances; analysis and applications [9.574645423576932]
  最適輸送距離は確率分布を比較するための古典的なツールとなり、機械学習に多くの応用を見出した。 一般的な回避策は、これらの距離をミニバッチで計算して、いくつかの小さな最適な輸送問題の結果の平均化です。 本稿では,本手法の広範な分析を行い,その効果を限定したケースで検討した。
  論文  参考訳（メタデータ） (2021-01-05T21:29:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。