論文の概要: SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking
- arxiv url: http://arxiv.org/abs/2306.05426v3
- Date: Mon, 6 May 2024 16:02:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 01:26:19.589819
- Title: SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking
- Title（参考訳）: SequenceMatch: バックトラッキングを用いた自己回帰シーケンスモデリングのための模擬学習
- Authors: Chris Cundy, Stefano Ermon,
- Abstract要約: MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。
我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。
これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。
得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
- 参考スコア（独自算出の注目度）: 60.109453252858806
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In many domains, autoregressive models can attain high likelihood on the task of predicting the next observation. However, this maximum-likelihood (MLE) objective does not necessarily match a downstream use-case of autoregressively generating high-quality sequences. The MLE objective weights sequences proportionally to their frequency under the data distribution, with no guidance for the model's behaviour out of distribution (OOD): leading to compounding error during autoregressive generation. In order to address this compounding error problem, we formulate sequence generation as an imitation learning (IL) problem. This allows us to minimize a variety of divergences between the distribution of sequences generated by an autoregressive model and sequences from a dataset, including divergences with weight on OOD generated sequences. The IL framework also allows us to incorporate backtracking by introducing a backspace action into the generation process. This further mitigates the compounding error problem by allowing the model to revert a sampled token if it takes the sequence OOD. Our resulting method, SequenceMatch, can be implemented without adversarial training or architectural changes. We identify the SequenceMatch-$\chi^2$ divergence as a more suitable training objective for autoregressive models which are used for generation. We show that empirically, SequenceMatch training leads to improvements over MLE on text generation with language models and arithmetic.
- Abstract（参考訳）: 多くの領域において、自己回帰モデルは次の観測を予測するタスクにおいて高い可能性を得ることができる。
しかし、このMLE(Maxum-likelihood)の目的は、必ずしも下流で自動回帰的に高品質なシーケンスを生成するユースケースと一致しない。
MLEの客観的な重み付けは、データ分布下での頻度に比例し、分布外(OOD)モデルの振る舞いのガイダンスがない。
この複合的誤り問題に対処するために、我々は、シーケンス生成を模倣学習(IL)問題として定式化する。
これにより、自己回帰モデルによって生成されたシーケンスの分布と、OOD生成したシーケンスの重み付き分岐を含むデータセットからのシーケンスとのばらつきを最小化できる。
ILフレームワークはまた、生成プロセスにバックスペースアクションを導入することで、バックトラックを組み込むことができます。
これにより、配列 OOD を取ると、モデルがサンプルトークンを反転させることで、複合的エラー問題を緩和する。
得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
生成に使用する自己回帰モデルに対して,より適切なトレーニング対象としてSequenceMatch-$\chi^2$ divergenceを同定する。
経験的に、SequenceMatchトレーニングは、言語モデルと算術演算を用いたテキスト生成において、MLEよりも改善されていることを示す。
関連論文リスト
- Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - Non-autoregressive Sequence-to-Sequence Vision-Language Models [63.77614880533488]
本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。
このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
論文 参考訳（メタデータ） (2024-03-04T17:34:59Z) - Extrapolative Controlled Sequence Generation via Iterative Refinement [22.42501277690634]
本研究では,外挿制御生成の問題,すなわち,トレーニングで見られる範囲を超えて属性値を持つシーケンスを生成する問題について検討する。
本研究では,反復的制御外挿法 (ICE) を提案する。
1つの自然言語タスク(感覚分析)と2つのタンパク質工学タスク(ACE2安定性とAAV適合性)の結果、ICEは単純さにもかかわらず最先端のアプローチをかなり上回っている。
論文 参考訳（メタデータ） (2023-03-08T13:21:27Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳（メタデータ） (2022-11-28T17:36:41Z) - Calibrating Sequence likelihood Improves Conditional Language Generation [39.35161650538767]
条件言語モデルは主に最大推定(MLE)を用いて訓練される
MLEの訓練されたモデルは、文脈が与えられた場合、高い確率を可算列に割り当てるが、モデル確率は、品質によって正確なランク順生成列を割り当てないことが多い。
本稿では,モデルの潜在空間における参照シーケンスとの整合性を高めるために,モデル生成シーケンスのキャリブレーションを行うSLiC(Sequence chance calibration)を提案する。
論文 参考訳（メタデータ） (2022-09-30T19:16:16Z) - Robust Attack Graph Generation [11.419463747286716]
入力修正に頑健なオートマトンモデルを学習する手法を提案する。
繰り返し、シーケンスを学習されたモデルにアライメントし、シーケンスをアライメントされたバージョンに修正し、モデルを再学習する。
論文 参考訳（メタデータ） (2022-06-15T19:26:39Z) - An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。
非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。
本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
論文 参考訳（メタデータ） (2020-06-29T20:58:57Z) - On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。
異なる家族間でのモデルランキングの相関はみられない。
論文 参考訳（メタデータ） (2020-02-17T20:13:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。