論文の概要: Sequence-to-Set Generative Models
- arxiv url: http://arxiv.org/abs/2209.08801v1
- Date: Mon, 19 Sep 2022 07:13:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 19:03:50.955840
- Title: Sequence-to-Set Generative Models
- Title（参考訳）: sequence-to-set生成モデル
- Authors: Longtao Tang, Ying Zhou and Yu Yang
- Abstract要約: 本稿では,任意のシーケンス生成モデルを集合生成モデルに変換するシーケンス・ツー・セット法を提案する。
本稿では,シーケンス・ツー・セット方式の例であるGRU2Setについて述べる。
我々のモデルの直接的な応用は、eコマース注文の集合から注文/セット分布を学ぶことである。
- 参考スコア（独自算出の注目度）: 9.525560801277903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a sequence-to-set method that can transform any
sequence generative model based on maximum likelihood to a set generative model
where we can evaluate the utility/probability of any set. An efficient
importance sampling algorithm is devised to tackle the computational challenge
of learning our sequence-to-set model. We present GRU2Set, which is an instance
of our sequence-to-set method and employs the famous GRU model as the sequence
generative model. To further obtain permutation invariant representation of
sets, we devise the SetNN model which is also an instance of the
sequence-to-set model. A direct application of our models is to learn an
order/set distribution from a collection of e-commerce orders, which is an
essential step in many important operational decisions such as inventory
arrangement for fast delivery. Based on the intuition that small-sized sets are
usually easier to learn than large sets, we propose a size-bias trick that can
help learn better set distributions with respect to the $\ell_1$-distance
evaluation metric. Two e-commerce order datasets, TMALL and HKTVMALL, are used
to conduct extensive experiments to show the effectiveness of our models. The
experimental results demonstrate that our models can learn better set/order
distributions from order data than the baselines. Moreover, no matter what
model we use, applying the size-bias trick can always improve the quality of
the set distribution learned from data.
- Abstract（参考訳）: 本稿では,最大可能性に基づく任意のシーケンス生成モデルを,任意の集合の効用/確率を評価可能な集合生成モデルに変換するシーケンス・ツー・セット法を提案する。
シーケンス・ツー・セットモデルを学習する計算課題に対処するために,効率的な重要サンプリングアルゴリズムが考案された。
本稿では,シーケンス・ツー・セット法の一例であるGRU2Setについて述べる。
さらに,集合の置換不変表現を得るため,sequence-to-setモデルのインスタンスでもある setnn モデルを考案する。
我々のモデルの直接的な応用は、電子商取引注文の集合から注文/セット分布を学習することであり、これは、迅速な配送のための在庫配置のような多くの重要な運用上の決定において重要なステップである。
小型集合は通常大集合よりも学習しやすいという直感に基づいて、$\ell_1$-distance 評価指標に関してより良い集合分布を学習するのに役立つ大きさバイアスのトリックを提案する。
TMALLとHKTVMALLという2つのEコマース注文データセットを用いて、モデルの有効性を示す大規模な実験を行っている。
実験の結果, モデルでは, ベースラインよりも順序データから, 整列/順序分布を学習できることがわかった。
さらに、どんなモデルを使っても、サイズバイアスのトリックを適用することで、データから得られた集合分布の品質が常に向上する。
関連論文リスト
- GateLoop: Fully Data-Controlled Linear Recurrence for Sequence Modeling [0.0]
S4, S5, LRU, RetNet などの線形リカレントモデルを一般化したシーケンスモデルである GateLoop を開発した。
GateLoopは、自動回帰言語モデリングの既存のモデルよりも経験的に優れている。
提案手法は,データ制御による相対配置情報の提供と解釈できることを示す。
論文 参考訳（メタデータ） (2023-11-03T14:08:39Z) - SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。
我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。
これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。
得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
論文 参考訳（メタデータ） (2023-06-08T17:59:58Z) - Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。
3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
論文 参考訳（メタデータ） (2023-05-19T16:25:43Z) - MILO: Model-Agnostic Subset Selection Framework for Efficient Model
Training and Tuning [68.12870241637636]
モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。
実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
論文 参考訳（メタデータ） (2023-01-30T20:59:30Z) - Model ensemble instead of prompt fusion: a sample-specific knowledge
transfer method for few-shot prompt tuning [85.55727213502402]
我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。
我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。
SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
論文 参考訳（メタデータ） (2022-10-23T01:33:16Z) - Conditional set generation using Seq2seq models [52.516563721766445]
条件セット生成は、トークンの入力シーケンスからセットへのマッピングを学習する。
シーケンス・ツー・シーケンス(Seq2seq)モデルは、モデルセット生成において一般的な選択である。
本稿では,ラベル順序空間上の情報的順序を効果的に抽出する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-25T04:17:50Z) - Hierarchical Few-Shot Generative Models [18.216729811514718]
本稿では,ニューラルネットワークを階層的なアプローチに拡張する潜伏変数のアプローチについて検討する。
以上の結果から,階層的な定式化は,小データ構造における集合内の内在的変動をよりよく捉えることが示唆された。
論文 参考訳（メタデータ） (2021-10-23T19:19:39Z) - Effect of depth order on iterative nested named entity recognition
models [1.619995421534183]
ネストされた名前付きエンティティ認識(NER)モデルに対する言及の深さの順序の影響について検討する。
注文に依存しない反復モデルと、トレーニングや予測中にカスタム注文を選択する手順を設計します。
最小から最大の順序が最良の結果をもたらすことを示す。
論文 参考訳（メタデータ） (2021-04-02T13:18:52Z) - SetVAE: Learning Hierarchical Composition for Generative Modeling of
Set-Structured Data [27.274328701618]
集合の階層的変分オートエンコーダであるSetVAEを提案する。
セットエンコーディングの最近の進歩に動機づけられて、我々は最初にセットを分割し、元のカーディナリティにパーティションを投影する注意深いモジュールの上にSetVAEを構築します。
我々は,本モデルが集合のサイズを示さずに一般化し,監督なしに興味深い部分集合関係を学習できることを実証する。
論文 参考訳（メタデータ） (2021-03-29T14:01:18Z) - Predicting Sequences of Traversed Nodes in Graphs using Network Models
with Multiple Higher Orders [1.0499611180329802]
我々は,このような多次モデルを経験的逐次データに適合させ,最適な最大順序を選択する手法を開発した。
本研究では,Webサイトナビゲーションおよび公共交通システムからのシーケンスを含む6つの経験的データセットに基づいて,本モデルの評価を行った。
さらに,サンプル外のシーケンス予測における手法の精度を実証し,数百万のシーケンスを持つデータセットに拡張可能であることを検証した。
論文 参考訳（メタデータ） (2020-07-13T20:08:14Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2020-03-14T22:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。