論文の概要: A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention

• arxiv url: http://arxiv.org/abs/2006.12065v4
• Date: Tue, 9 Feb 2021 21:24:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 04:56:06.516410
• Title: A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention
• Title（参考訳）: 特徴集約のための訓練可能な最適輸送埋め込みとその注意との関係
• Authors: Gr\'egoire Mialon, Dexiong Chen, Alexandre d'Aspremont, Julien Mairal
• Abstract要約: 固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
• 参考スコア（独自算出の注目度）: 96.77554122595578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the problem of learning on sets of features, motivated by the need of performing pooling operations in long biological sequences of varying sizes, with long-range dependencies, and possibly few labeled data. To address this challenging task, we introduce a parametrized representation of fixed size, which embeds and then aggregates elements from a given input set according to the optimal transport plan between the set and a trainable reference. Our approach scales to large datasets and allows end-to-end training of the reference, while also providing a simple unsupervised learning mechanism with small computational cost. Our aggregation technique admits two useful interpretations: it may be seen as a mechanism related to attention layers in neural networks, or it may be seen as a scalable surrogate of a classical optimal transport-based kernel. We experimentally demonstrate the effectiveness of our approach on biological sequences, achieving state-of-the-art results for protein fold recognition and detection of chromatin profiles tasks, and, as a proof of concept, we show promising results for processing natural language sequences. We provide an open-source implementation of our embedding that can be used alone or as a module in larger learning models at https://github.com/claying/OTK.
• Abstract（参考訳）: 様々な大きさの長い生物配列でプール操作を行う必要があり、長い範囲の依存関係があり、ラベル付きデータが少ないことによる特徴セットの学習の課題に対処する。 この課題に対処するために、固定サイズのパラメータ化表現を導入し、与えられた入力セットから要素を埋め込み、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って集約する。 提案手法は大規模データセットにスケールし,参照のエンドツーエンドなトレーニングを可能にすると同時に,計算コストの少ない単純な教師なし学習機構を提供する。 ニューラルネットワークの注意層に関連するメカニズムと見なすか、あるいは古典的な最適なトランスポートベースのカーネルのスケーラブルなサロゲートと見なすことができる。 本手法の有効性を実験的に実証し、タンパク質の折り畳み認識とクロマチンプロファイルタスクの検出に最先端の結果を得るとともに、概念実証として、自然言語配列の処理に有望な結果を示す。 私たちは、単独またはより大きな学習モデルのモジュールとして、https://github.com/claying/otkで使用できる埋め込みのオープンソース実装を提供しています。

関連論文リスト

• Self-Supervised Learning with Generative Adversarial Networks for Electron Microscopy [0.0]
  本稿では,自己教師付き事前学習が,下流タスクの高精度な微調整をいかに促進するかを示す。 我々は、電子顕微鏡の文脈において、下流の様々なタスクにまたがる自己教師型事前学習の汎用性を実証する。
  論文  参考訳（メタデータ） (2024-02-28T12:25:01Z)
• Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric Learning [1.4293924404819704]
  我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。 単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。 我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
  論文  参考訳（メタデータ） (2023-11-17T00:35:38Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Learning Operators with Coupled Attention [9.715465024071333]
  本稿では,近年の注目機構の成功を動機とした,新しい演算子学習手法であるLOCAを提案する。 我々のアーキテクチャでは、入力関数は有限個の特徴にマッピングされ、その特徴は出力クエリの場所に依存する注意重みで平均化される。 これらの注意重みを積分変換と組み合わせることで、LOCAは目標出力関数の相関関係を明示的に学習することができる。
  論文  参考訳（メタデータ） (2022-01-04T08:22:03Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Clustering augmented Self-Supervised Learning: Anapplication to Land Cover Mapping [10.720852987343896]
  本稿では,自己教師型学習のためのクラスタリングに基づくプレテキストタスクを用いて,土地被覆マッピングの新しい手法を提案する。 社会的に関係のある2つのアプリケーションに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-08-16T19:35:43Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。