論文の概要: Conditional Set Generation with Transformers
- arxiv url: http://arxiv.org/abs/2006.16841v2
- Date: Wed, 1 Jul 2020 06:00:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 21:21:16.986913
- Title: Conditional Set Generation with Transformers
- Title(参考訳): 変圧器を用いた条件セット生成
- Authors: Adam R Kosiorek, Hyunjik Kim, Danilo J Rezende
- Abstract要約: 集合は、一意な要素の無秩序な集合である。
多くの機械学習モデルは暗黙的または明示的な順序を課す集合を生成する。
別の解決策は、順序付けを指定しない置換同変集合生成器を使用することである。
本稿では,TSPN(Transformer Set Prediction Network)を提案する。
- 参考スコア(独自算出の注目度): 15.315473956458227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A set is an unordered collection of unique elements--and yet many machine
learning models that generate sets impose an implicit or explicit ordering.
Since model performance can depend on the choice of order, any particular
ordering can lead to sub-optimal results. An alternative solution is to use a
permutation-equivariant set generator, which does not specify an order-ing. An
example of such a generator is the DeepSet Prediction Network (DSPN). We
introduce the Transformer Set Prediction Network (TSPN), a flexible
permutation-equivariant model for set prediction based on the transformer, that
builds upon and outperforms DSPN in the quality of predicted set elements and
in the accuracy of their predicted sizes. We test our model on
MNIST-as-point-clouds (SET-MNIST) for point-cloud generation and on CLEVR for
object detection.
- Abstract(参考訳): セットは、ユニークな要素の無秩序なコレクションであり、セットを生成する多くの機械学習モデルは、暗黙的または明示的な順序付けを課している。
モデルの性能は順序の選択に依存するため、任意の順序付けが最適でない結果をもたらす可能性がある。
別の解決策は、順序付けを指定しない置換同変集合生成器を使用することである。
そのようなジェネレータの例として、DeepSet Prediction Network (DSPN)がある。
本稿では,dspnを合成し,予測された集合要素の品質と予測された大きさの精度において,dspnを上回ったモデルであるtspn(transformer set prediction network)について紹介する。
我々は,MNIST-as-point-clouds(SET-MNIST)とCLEVRでオブジェクト検出を行う。
関連論文リスト
- Conformal Nucleus Sampling [67.5232384936661]
最上位のp$集合が、様々な言語文脈における確率的意味と実際に一致しているかを評価する。
OPTモデルは過信であり、キャリブレーションはモデルサイズで適度な逆スケーリングを示す。
論文 参考訳(メタデータ) (2023-05-04T08:11:57Z) - Sampled Transformer for Point Sets [80.66097006145999]
スパース変換器は、連続列列列関数の普遍近似器でありながら、自己アテンション層の計算複雑性を$O(n)$に下げることができる。
我々は、追加の帰納バイアスを伴わずに点集合要素を直接処理できる$O(n)$複雑性サンプリング変換器を提案する。
論文 参考訳(メタデータ) (2023-02-28T06:38:05Z) - Sequence-to-Set Generative Models [9.525560801277903]
本稿では,任意のシーケンス生成モデルを集合生成モデルに変換するシーケンス・ツー・セット法を提案する。
本稿では,シーケンス・ツー・セット方式の例であるGRU2Setについて述べる。
我々のモデルの直接的な応用は、eコマース注文の集合から注文/セット分布を学ぶことである。
論文 参考訳(メタデータ) (2022-09-19T07:13:51Z) - Set Norm and Equivariant Skip Connections: Putting the Deep in Deep Sets [18.582561853987027]
既存の変分不変アーキテクチャであるDeep SetsとSet Transformerは、深度が深い場合には、消失または爆発的な勾配に悩まされる可能性があることを示す。
等変残差接続に対するクリーンパス原理を導入し、集合に適した正規化である集合ノルムを開発する。
これによって、Deep Sets++とSet Transformer++を構築しました。
論文 参考訳(メタデータ) (2022-06-23T18:04:56Z) - Conditional set generation using Seq2seq models [52.516563721766445]
条件セット生成は、トークンの入力シーケンスからセットへのマッピングを学習する。
シーケンス・ツー・シーケンス(Seq2seq)モデルは、モデルセット生成において一般的な選択である。
本稿では,ラベル順序空間上の情報的順序を効果的に抽出する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-25T04:17:50Z) - Top-N: Equivariant set and graph generation without exchangeability [61.24699600833916]
集合やグラフ上の分布の前にベクトル形状をマッピングするワンショット確率デコーダを考える。
これらの機能は、可変オートエンコーダ(VAE)、生成逆数ネットワーク(GAN)、正規化フローに統合することができる。
Top-nは、トレーニング可能な参照セットから最も関連性の高いポイントを選択することを学ぶ、決定論的で非交換可能なセット生成メカニズムである。
論文 参考訳(メタデータ) (2021-10-05T14:51:19Z) - Fantastically Ordered Prompts and Where to Find Them: Overcoming
Few-Shot Prompt Order Sensitivity [16.893758238773263]
少数のトレーニングサンプルしか持たなかった場合、GPT-3のような非常に大きな事前訓練された言語モデルは、競争力のある結果を示した。
サンプルが提供される順序は、ほぼ最先端の予測性能とランダムな推測性能の差であることを示す。
言語モデルの生成特性を利用して人工的な開発セットを構築し、このセットから候補置換のエントロピー統計に基づいて、実行者プロンプトを同定する。
論文 参考訳(メタデータ) (2021-04-18T09:29:16Z) - IOT: Instance-wise Layer Reordering for Transformer Structures [173.39918590438245]
トランスフォーマの固定層順序の仮定を分解し,モデル構造にインスタンス単位の層順序変更を導入する。
当社の手法はTransformer以外のアーキテクチャにも適用可能です。
論文 参考訳(メタデータ) (2021-03-05T03:44:42Z) - Set Distribution Networks: a Generative Model for Sets of Images [22.405670277339023]
自動エンコードと自由にセットを生成するフレームワークであるSet Distribution Networks(SDN)を紹介する。
ベンチマークデータセットの入力の健全な属性を保存するイメージセットを,SDNが再構築可能であることを示す。
本稿では,SDN が生成した画像の品質を評価する新しい手法として,事前学習した3次元再構成ネットワークと顔検証ネットワークを用いて,SDN が生成した画像集合について検討する。
論文 参考訳(メタデータ) (2020-06-18T17:38:56Z) - Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。
未知の置換と基数を持つ集合を予測するための新しい手法を提案する。
関連視覚問題に対する集合定式化の有効性を実証する。
論文 参考訳(メタデータ) (2020-01-30T01:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。