論文の概要: Revisiting Pooling through the Lens of Optimal Transport

• arxiv url: http://arxiv.org/abs/2201.09191v1
• Date: Sun, 23 Jan 2022 06:20:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 11:59:11.077209
• Title: Revisiting Pooling through the Lens of Optimal Transport
• Title（参考訳）: 最適移動のレンズを通したプールの再訪
• Authors: Minjie Cheng and Hongteng Xu
• Abstract要約: 最適な輸送のレンズを通した,新しい,ソリッドなアルゴリズムプーリングフレームワークを開発した。 UOT問題のパラメータを学習可能にし、それに基づいて、ニューラルネットワークのためのtextitUOT-Poolingと呼ばれる一般化されたプーリング層を提案する。 マルチインスタンスラーニング(MIL)とグラフ埋め込みという2つのアプリケーションシナリオで、UOT-Poolingレイヤをテストします。
• 参考スコア（独自算出の注目度）: 25.309212446782684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pooling is one of the most significant operations in many machine learning models and tasks, whose implementation, however, is often empirical in practice. In this paper, we develop a novel and solid algorithmic pooling framework through the lens of optimal transport. In particular, we demonstrate that most existing pooling methods are equivalent to solving some specializations of an unbalanced optimal transport (UOT) problem. Making the parameters of the UOT problem learnable, we unify most existing pooling methods in the same framework, and accordingly, propose a generalized pooling layer called \textit{UOT-Pooling} for neural networks. Moreover, we implement the UOT-Pooling with two different architectures, based on the Sinkhorn scaling algorithm and the Bregman ADMM algorithm, respectively, and study their stability and efficiency quantitatively. We test our UOT-Pooling layers in two application scenarios, including multi-instance learning (MIL) and graph embedding. For state-of-the-art models of these two tasks, we can improve their performance by replacing conventional pooling layers with our UOT-Pooling layers.
• Abstract（参考訳）: ポーリングは多くの機械学習モデルやタスクにおいて最も重要な操作の1つであり、その実装は実際は経験的であることが多い。 本稿では,最適移動のレンズを通した新規でソリッドなアルゴリズム・プーリング・フレームワークを開発した。 特に,既存のプール法の多くは,不均衡な最適輸送(UOT)問題の特殊化と等価であることを示す。 UOT問題のパラメータを学習可能にするため、ほとんどの既存のプーリングメソッドを同じフレームワークに統合し、ニューラルネットワークのための一般化されたプーリング層である「textit{UOT-Pooling}」を提案する。 さらに,spinhorn scalingアルゴリズムとbregman admmアルゴリズムに基づいて,uot-poolingを2つの異なるアーキテクチャで実装し,その安定性と効率を定量的に検討した。 マルチインスタンスラーニング(MIL)とグラフ埋め込みという,2つのアプリケーションシナリオでUOT-Poolingレイヤをテストする。 これら2つのタスクの最先端モデルでは、従来のプール層を UOT-Pooling 層に置き換えることで、パフォーマンスを向上させることができます。

関連論文リスト

• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)
• Multi-Objective Optimization for Sparse Deep Multi-Task Learning [0.0]
  重み付きチェビシェフスキャラライゼーションを用いたディープニューラルネットワーク(DNN)のトレーニングのための多目的最適化アルゴリズムを提案する。 本研究の目的は,DNNモデルの持続可能性問題,特にDeep Multi-Taskモデルに焦点をあてることである。
  論文  参考訳（メタデータ） (2023-08-23T16:42:27Z)
• Regularized Optimal Transport Layers for Generalized Global Pooling Operations [25.309212446782684]
  我々は、最適な輸送のレンズを通して、新しい、一般化されたグローバルプールフレームワークを開発する。 我々のフレームワークは期待-最大化の観点から解釈できる。 実験の結果, ROTP層の適用により, グローバルプールの設計と選択の難しさを低減できることがわかった。
  論文  参考訳（メタデータ） (2022-12-13T02:46:36Z)
• Entropic Neural Optimal Transport via Diffusion Processes [105.34822201378763]
  本稿では,連続確率分布間のエントロピー最適輸送(EOT)計画を計算するための新しいアルゴリズムを提案する。 提案アルゴリズムは,シュリンガーブリッジ問題(Schr"odinger Bridge problem)として知られるEOTの動的バージョンのサドル点再構成に基づく。 大規模EOTの従来の手法とは対照的に,我々のアルゴリズムはエンドツーエンドであり,単一の学習ステップで構成されている。
  論文  参考訳（メタデータ） (2022-11-02T14:35:13Z)
• Scaling adaptive quantum simulation algorithms via operator pool tiling [0.0]
  本稿では,任意に大規模な問題インスタンスに対する問題調整プールの構築を容易にする,演算子プールタイリングという手法を提案する。 この手法を1次元と2次元の強い相関量子スピンモデルで示し、ADAPTがこれらのシステムに対して非常に効果的なアンサッツを自動的に見つけることを発見した。
  論文  参考訳（メタデータ） (2022-06-28T18:00:06Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• AdaPool: Exponential Adaptive Pooling for Information-Retaining Downsampling [82.08631594071656]
  畳み込み層は畳み込みニューラルネットワーク(CNN)の重要な構成要素である 適応的で指数関数的に重み付けされたアダプール法を提案する。 adaPoolは画像やビデオの分類やオブジェクト検出など,さまざまなタスクを通じて,ディテールの保存性の向上を実証する。
  論文  参考訳（メタデータ） (2021-11-01T08:50:37Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Meta-learning of Pooling Layers for Character Recognition [3.708656266586146]
  畳み込みニューラルネットワークに基づく文字認識における層をプールするためのメタラーニングフレームワークを提案する。 2つのパラメータを用いてカーネル形状とプーリング動作を訓練可能なパラメータ化プーリング層を提案する。 また,複数のタスクにまたがって適切なプーリング層を得ることができるパラメータ化プーリング層のメタラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-17T09:25:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。