Fugu-MT 論文翻訳(概要): Control-DAG: Constrained Decoding for Non-Autoregressive Directed Acyclic T5 using Weighted Finite State Automata

論文の概要: Control-DAG: Constrained Decoding for Non-Autoregressive Directed Acyclic T5 using Weighted Finite State Automata

arxiv url: http://arxiv.org/abs/2404.06854v1
Date: Wed, 10 Apr 2024 09:28:14 GMT
ステータス: 処理完了
システム内更新日: 2024-04-11 15:00:17.537913
Title: Control-DAG: Constrained Decoding for Non-Autoregressive Directed Acyclic T5 using Weighted Finite State Automata
Title（参考訳）: Control-DAG:重み付き有限状態オートマタを用いた非自己回帰非環状T5の制約デコード
Authors: Jinghong Chen, Weizhe Lin, Jingbiao Mei, Bill Byrne,
Abstract要約: DA-T5モデルに対する制約付き復号アルゴリズムである制御DAGを導入する。 DAGはガイドダイアログとDARTデータセット上でDA-T5を大幅に向上することを示す。
参考スコア（独自算出の注目度）: 14.687729896211584
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Directed Acyclic Transformer is a fast non-autoregressive (NAR) model that performs well in Neural Machine Translation. Two issues prevent its application to general Natural Language Generation (NLG) tasks: frequent Out-Of-Vocabulary (OOV) errors and the inability to faithfully generate entity names. We introduce Control-DAG, a constrained decoding algorithm for our Directed Acyclic T5 (DA-T5) model which offers lexical, vocabulary and length control. We show that Control-DAG significantly enhances DA-T5 on the Schema Guided Dialogue and the DART datasets, establishing strong NAR results for Task-Oriented Dialogue and Data-to-Text NLG.
Abstract（参考訳）: Directed Acyclic Transformerは高速な非自己回帰(NAR)モデルであり、ニューラルマシン翻訳でよく機能する。一般的な自然言語生成(NLG)タスクには、OFF-Vocabulary(OOV)エラーの頻発と、エンティティ名を忠実に生成できない2つの問題がある。直交非巡回型T5(DA-T5)モデルに対する制約付き復号アルゴリズムであるControl-DAGを導入する。制御DAGは,Schema Guided DialogueとDARTデータセットのDA-T5を大幅に向上させ,タスク指向対話とData-to-Text NLGのための強力なNAR結果を確立した。

関連論文リスト

MrT5: Dynamic Token Merging for Efficient Byte-level Language Models [50.46453950887946]
この作業はより効率的なBYT5の派生であるMergeT5(MergeT5)を導入している。 MrT5はトークン削除機構をエンコーダに統合し、入力シーケンスの長さを動的に短縮する。英語のテキストでトレーニングすると、MrT5はその削除機能を複数の言語でゼロショットで転送する機能を示している。
論文参考訳（メタデータ） (2024-10-28T06:14:12Z)
Improving Semantic Control in Discrete Latent Spaces with Transformer Quantized Variational Autoencoders [5.037881619912574]
ベクトル量子化変分オートエンコーダ(VQVAE)の離散潜在空間を解析し,トランスフォーマーを用いたVAEのセマンティック制御と生成を改善する。本稿では,トークンレベルでの自己保持機構を導くために,VQVAEの制御性を利用した新しいモデルT5VQVAEを提案する。実験の結果、T5VQVAEはOptimusを含む既存の最先端のVAEモデルよりも優れていた。
論文参考訳（メタデータ） (2024-02-01T16:14:35Z)
UT5: Pretraining Non autoregressive T5 with unrolled denoising [9.656399724144192]
自動回帰型T5モデルの教師なし事前訓練について,非学習型聴覚障害者を用いて検討した。我々は,SQuAD質問生成やXSumなどの下流生成タスクにおいて,そのSoTA結果を示した。
論文参考訳（メタデータ） (2023-11-14T21:28:10Z)
GA-DRL: Graph Neural Network-Augmented Deep Reinforcement Learning for DAG Task Scheduling over Dynamic Vehicular Clouds [35.418964557667096]
本稿では、動的VC上でDAGタスクをスケジューリングするためのグラフニューラルネットワーク強化深部強化学習方式(GA-DRL)を提案する。 GA-DRLはDAGタスク完了時間で既存のベンチマークを上回っている。
論文参考訳（メタデータ） (2023-07-03T06:41:15Z)
DiNADO: Norm-Disentangled Neurally-Decomposed Oracles for Controlling Language Models [55.06442277395388]
NeurAlly-Decomposed Oracle (NADO)は、大きな言語モデルで制御可能な生成のための強力なアプローチである。バニラNADOは低確率制御信号の減衰勾配に悩まされる。本稿では,NADOアルゴリズムの性能向上を図るために,NADOアルゴリズムの改良版であるDiNADOを提案する。
論文参考訳（メタデータ） (2023-06-20T18:36:52Z)
Controlled Text Generation using T5 based Encoder-Decoder Soft Prompt Tuning and Analysis of the Utility of Generated Text in AI [2.381686610905853]
我々は,T5モデルにおいて,エンコーダレベルとデコーダレベルの両方でソフトプロンプトを使用する新しいソフトプロンプトチューニング手法を提案する。また,この拡張軟性誘導型T5モデルのデコーダレベルでの出力のステアリングの可能性についても検討した。
論文参考訳（メタデータ） (2022-12-06T12:31:53Z)
Unsupervised Syntactically Controlled Paraphrase Generation with Abstract Meaning Representations [59.10748929158525]
抽象表現(AMR)は、教師なし構文制御されたパラフレーズ生成の性能を大幅に向上させることができる。提案モデルであるAMRPGは,AMRグラフを符号化し,入力文を2つの非絡み合った意味的および構文的埋め込みに解析する。実験により、AMRPGは既存の教師なしアプローチと比較して、定量的かつ質的に、より正確な構文制御されたパラフレーズを生成することが示された。
論文参考訳（メタデータ） (2022-11-02T04:58:38Z)
Diffusion-LM Improves Controllable Text Generation [80.50044830018442]
言語モデル(LM)の振る舞いを再学習せずに制御することは、自然言語生成において大きな問題である。拡散-LMと呼ばれる連続拡散に基づく非自己回帰型言語モデルを開発した。本研究では,6つのきめ細粒度制御タスクに対してDiffusion-LMの制御に成功したことを実証した。
論文参考訳（メタデータ） (2022-05-27T20:12:09Z)
EdiT5: Semi-Autoregressive Text-Editing with T5 Warm-Start [21.4394742421462]
EdiT5は、半自動的なテキスト編集アプローチである。非自己回帰的テキスト編集と自己回帰的復号の長所を兼ね備えている。
論文参考訳（メタデータ） (2022-05-24T17:13:22Z)
Directed Acyclic Transformer for Non-Autoregressive Machine Translation [93.31114105366461]
Directed Acyclic Transfomer (DA-Transformer) は、DAG (Directed Acyclic Graph) の隠れ状態を表す。 DA-Transformerは、平均して約3 BLEUで以前のNATよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-05-16T06:02:29Z)
Sequence Transduction with Graph-based Supervision [96.04967815520193]
ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。 CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
論文参考訳（メタデータ） (2021-11-01T21:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。