論文の概要: Set Interdependence Transformer: Set-to-Sequence Neural Networks for
Permutation Learning and Structure Prediction
- arxiv url: http://arxiv.org/abs/2206.03720v1
- Date: Wed, 8 Jun 2022 07:46:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-10 00:01:21.492007
- Title: Set Interdependence Transformer: Set-to-Sequence Neural Networks for
Permutation Learning and Structure Prediction
- Title（参考訳）: 集合依存変換器:順列ニューラルネットワークによる置換学習と構造予測
- Authors: Mateusz Jurewicz and Leon Derczynski
- Abstract要約: セット・ツー・シーケンス問題は自然言語処理、コンピュータビジョン、構造予測において発生する。
それまでの注意に基づく手法では、n$-次関係を明示的に表すために、セット変換の$n$層を必要とする。
本稿では,集合の置換不変表現を任意の濃度の集合内のその要素に関連付けることのできる,集合間距離変換器と呼ばれる新しいニューラルセット符号化法を提案する。
- 参考スコア（独自算出の注目度）: 6.396288020763144
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The task of learning to map an input set onto a permuted sequence of its
elements is challenging for neural networks. Set-to-sequence problems occur in
natural language processing, computer vision and structure prediction, where
interactions between elements of large sets define the optimal output. Models
must exhibit relational reasoning, handle varying cardinalities and manage
combinatorial complexity. Previous attention-based methods require $n$ layers
of their set transformations to explicitly represent $n$-th order relations.
Our aim is to enhance their ability to efficiently model higher-order
interactions through an additional interdependence component. We propose a
novel neural set encoding method called the Set Interdependence Transformer,
capable of relating the set's permutation invariant representation to its
elements within sets of any cardinality. We combine it with a permutation
learning module into a complete, 3-part set-to-sequence model and demonstrate
its state-of-the-art performance on a number of tasks. These range from
combinatorial optimization problems, through permutation learning challenges on
both synthetic and established NLP datasets for sentence ordering, to a novel
domain of product catalog structure prediction. Additionally, the network's
ability to generalize to unseen sequence lengths is investigated and a
comparative empirical analysis of the existing methods' ability to learn
higher-order interactions is provided.
- Abstract（参考訳）: 入力セットを要素の順列にマッピングする学習は、ニューラルネットワークにとって難しい課題である。
集合対系列問題は、自然言語処理、コンピュータビジョン、構造予測において起こり、大きな集合の要素間の相互作用が最適出力を定義する。
モデルは関係推論を示し、様々な濃度に対応し、組合せ複雑性を管理する必要がある。
以前の注意に基づくメソッドでは、セット変換の$n$層が$n$-th の順序関係を明示的に表現する必要がある。
我々の目標は、追加の相互依存コンポーネントを通じて高次相互作用を効率的にモデル化する能力を強化することである。
本稿では,集合の置換不変表現を任意の濃度の集合内のその要素に関連付けることのできる,集合相互依存トランスフォーマと呼ばれる新しいニューラルセット符号化法を提案する。
置換学習モジュールを3部セット・ツー・シーケンスの完全モデルに組み合わせて,その最先端性能を多数のタスクで実証する。
これらは組合せ最適化の問題から、文順序付けのための合成および確立されたNLPデータセットの置換学習課題から、製品カタログ構造予測の新しい領域まで様々である。
さらに,ネットワークのシーケンス長を一般化する能力について検討し,既存の手法の高次相互作用を学習する能力の比較実験分析を行った。
関連論文リスト
- Equivariant Transduction through Invariant Alignment [71.45263447328374]
グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。
我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。
また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
論文 参考訳（メタデータ） (2022-09-22T11:19:45Z) - Modeling Structure with Undirected Neural Networks [20.506232306308977]
任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。
さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
論文 参考訳（メタデータ） (2022-02-08T10:06:51Z) - Discovering Non-monotonic Autoregressive Orderings with Variational
Inference [67.27561153666211]
我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。
エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。
言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
論文 参考訳（メタデータ） (2021-10-27T16:08:09Z) - Inducing Transformer's Compositional Generalization Ability via
Auxiliary Sequence Prediction Tasks [86.10875837475783]
体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。
既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。
本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
論文 参考訳（メタデータ） (2021-09-30T16:41:19Z) - Structured Reordering for Modeling Latent Alignments in Sequence
Transduction [86.94309120789396]
本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。
結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
論文 参考訳（メタデータ） (2021-06-06T21:53:54Z) - Set-to-Sequence Methods in Machine Learning: a Review [0.0]
逐次出力に向けた集合の機械学習は重要かつユビキタスなタスクであり、言語モデリングやメタラーニングからマルチエージェント戦略ゲーム、電力グリッド最適化まで幅広い応用がある。
本稿では,この分野の総合的な紹介と,これらの課題に対処する重要な機械学習手法の概要について述べる。
論文 参考訳（メタデータ） (2021-03-17T13:52:33Z) - Set Representation Learning with Generalized Sliced-Wasserstein
Embeddings [22.845403993200932]
集合構造データから表現を学習するための幾何学的解釈可能なフレームワークを提案する。
特に、確率測度からのサンプルとして集合の要素を扱い、一般化スライスワッサーシュタインに対する正確なユークリッド埋め込みを提案する。
我々は,複数の教師付きおよび教師なし集合学習タスクに関する提案フレームワークを評価し,最先端集合表現学習アプローチに対するその優位性を実証する。
論文 参考訳（メタデータ） (2021-03-05T19:00:34Z) - Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。
未知の置換と基数を持つ集合を予測するための新しい手法を提案する。
関連視覚問題に対する集合定式化の有効性を実証する。
論文 参考訳（メタデータ） (2020-01-30T01:52:07Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳（メタデータ） (2020-01-27T22:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。