論文の概要: Regularized Optimal Transport Layers for Generalized Global Pooling Operations

• arxiv url: http://arxiv.org/abs/2212.06339v1
• Date: Tue, 13 Dec 2022 02:46:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 13:25:20.041820
• Title: Regularized Optimal Transport Layers for Generalized Global Pooling Operations
• Title（参考訳）: 汎用グローバルプール運用のための正規化最適輸送層
• Authors: Hongteng Xu and Minjie Cheng
• Abstract要約: 我々は、最適な輸送のレンズを通して、新しい、一般化されたグローバルプールフレームワークを開発する。 我々のフレームワークは期待-最大化の観点から解釈できる。 実験の結果, ROTP層の適用により, グローバルプールの設計と選択の難しさを低減できることがわかった。
• 参考スコア（独自算出の注目度）: 25.309212446782684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Global pooling is one of the most significant operations in many machine learning models and tasks, which works for information fusion and structured data (like sets and graphs) representation. However, without solid mathematical fundamentals, its practical implementations often depend on empirical mechanisms and thus lead to sub-optimal, even unsatisfactory performance. In this work, we develop a novel and generalized global pooling framework through the lens of optimal transport. The proposed framework is interpretable from the perspective of expectation-maximization. Essentially, it aims at learning an optimal transport across sample indices and feature dimensions, making the corresponding pooling operation maximize the conditional expectation of input data. We demonstrate that most existing pooling methods are equivalent to solving a regularized optimal transport (ROT) problem with different specializations, and more sophisticated pooling operations can be implemented by hierarchically solving multiple ROT problems. Making the parameters of the ROT problem learnable, we develop a family of regularized optimal transport pooling (ROTP) layers. We implement the ROTP layers as a new kind of deep implicit layer. Their model architectures correspond to different optimization algorithms. We test our ROTP layers in several representative set-level machine learning scenarios, including multi-instance learning (MIL), graph classification, graph set representation, and image classification. Experimental results show that applying our ROTP layers can reduce the difficulty of the design and selection of global pooling -- our ROTP layers may either imitate some existing global pooling methods or lead to some new pooling layers fitting data better. The code is available at \url{https://github.com/SDS-Lab/ROT-Pooling}.
• Abstract（参考訳）: グローバルプーリングは、多くの機械学習モデルとタスクにおいて最も重要なオペレーションの1つであり、情報融合と構造化データ(セットやグラフなど)表現を扱う。 しかし、厳密な数学的基礎がなければ、その実践的実装はしばしば経験的なメカニズムに依存し、従って準最適であり、不満足な性能につながる。 本研究では,最適輸送のレンズを用いて,新しい汎用的なグローバルプールフレームワークを開発する。 提案フレームワークは期待最大化の観点から解釈可能である。 基本的に、サンプル指標と特徴次元をまたいだ最適な輸送を学習することを目的としており、対応するプール操作は入力データの条件付き期待値を最大化する。 既存のプーリング手法の多くは、特殊化の異なる正規化最適輸送(ROT)問題と等価であり、より洗練されたプーリング操作は複数のROT問題を階層的に解くことで実現できることを示す。 ROT問題のパラメータを学習可能にし、正規化された最適輸送プーリング(ROTP)層群を開発する。 ROTP層を新しい種類の深い暗黙の層として実装する。 これらのモデルアーキテクチャは異なる最適化アルゴリズムに対応している。 マルチインスタンス学習(mil)、グラフ分類、グラフ集合表現、画像分類など、いくつかの代表的なセットレベルの機械学習シナリオでrotp層をテストする。 我々のROTPレイヤは、既存のグローバルプーリングメソッドを模倣するか、データに適合する新しいプーリングレイヤをより良いものにするかのどちらかです。 コードは \url{https://github.com/SDS-Lab/ROT-Pooling} で公開されている。

関連論文リスト

• Comparative Analysis of Pooling Mechanisms in LLMs: A Sentiment Analysis Perspective [2.2334256816037987]
  BERTやGPTのようなトランスフォーマーベースのモデルは、トークンレベルの埋め込みを文レベルの表現に集約するためにプール層に依存している。 Mean、Max、Weighted Sumといった一般的なプール機構は、この集約プロセスにおいて重要な役割を果たす。 本稿では,これらのプール機構が文レベル感情分析の文脈における2つの著名なLCMファミリー(BERTとGPT)に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-11-22T00:59:25Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• Duo-LLM: A Framework for Studying Adaptive Computation in Large Language Models [16.16372459671255]
  大規模言語モデル(LLM)は通常、固定された計算予算を使用してトークンによって出力トークンを生成する。 LLMの各フィードフォワードネットワーク層に小さな補助モジュールを統合する新しいフレームワークを提案する。 訓練されたルータがオーラクルと異なる動作をしており、しばしば準最適解が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-01T16:10:21Z)
• Specularity Factorization for Low-Light Enhancement [2.7961648901433134]
  本稿では,複数の潜伏成分からなる画像を扱う付加的な画像分解手法を提案する。 当社のモデル駆動型EM RSFNetは,最適化をネットワーク層に展開することで,これらの要因を推定する。 結果の因子は設計によって解釈可能であり、ネットワークを介して異なる画像強調タスクに融合したり、直接ユーザによって結合したりすることができる。
  論文  参考訳（メタデータ） (2024-04-02T14:41:42Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Tightly Coupled Learning Strategy for Weakly Supervised Hierarchical Place Recognition [0.09558392439655011]
  本稿では,三重項モデルを学習するための密結合学習(TCL)戦略を提案する。 グローバルデクリプタとローカルデクリプタを組み合わせて、共同最適化を行う。 我々の軽量統一モデルは、いくつかの最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2022-02-14T03:20:39Z)
• Revisiting Pooling through the Lens of Optimal Transport [25.309212446782684]
  最適な輸送のレンズを通した,新しい,ソリッドなアルゴリズムプーリングフレームワークを開発した。 UOT問題のパラメータを学習可能にし、それに基づいて、ニューラルネットワークのためのtextitUOT-Poolingと呼ばれる一般化されたプーリング層を提案する。 マルチインスタンスラーニング(MIL)とグラフ埋め込みという2つのアプリケーションシナリオで、UOT-Poolingレイヤをテストします。
  論文  参考訳（メタデータ） (2022-01-23T06:20:39Z)
• MLR-SNet: Transferable LR Schedules for Heterogeneous Tasks [56.66010634895913]
  学習率(LR)は、勾配降下(SGD)訓練ネットワーク(DNN)において最も重要なハイパーラーニングネットワークパラメータの1つである。 本稿では,MLR-SNetタスクの適切なLRスケジュールを学習することを提案する。 また、MLR-SNetを使用して、異なるノイズ、アーキテクチャ、データモダリティ、トレーニング用のサイズなどのタスクをクエリし、パフォーマンスを達成または改善します。
  論文  参考訳（メタデータ） (2020-07-29T01:18:58Z)
• MetaPerturb: Transferable Regularizer for Heterogeneous Tasks and Architectures [61.73533544385352]
  本稿ではメタパーターブ(MetaPerturb)というトランスファー可能な摂動モデルを提案する。 MetaPerturbは、レイヤやタスクにまたがる多様な分散を訓練したセット関数であるため、異種タスクやアーキテクチャを一般化することができる。
  論文  参考訳（メタデータ） (2020-06-13T02:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。