Fugu-MT 論文翻訳(概要): Token Manipulation Generative Adversarial Network for Text Generation

論文の概要: Token Manipulation Generative Adversarial Network for Text Generation

arxiv url: http://arxiv.org/abs/2005.02794v2
Date: Mon, 11 May 2020 12:17:28 GMT
ステータス: 処理完了
システム内更新日: 2022-12-06 04:39:29.121047
Title: Token Manipulation Generative Adversarial Network for Text Generation
Title（参考訳）: テキスト生成のためのToken Manipulation Generative Adversarial Network
Authors: DaeJin Jo
Abstract要約: 我々は条件付きテキスト生成問題を,make-a-blank と fill-in-blank の2つのタスクに分解し,前者を拡張してより複雑なトークン操作を行う。提案モデルでは,限界に対処するだけでなく,品質や多様性の面で性能を損なうことなく良好な結果が得られることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: MaskGAN opens the query for the conditional language model by filling in the blanks between the given tokens. In this paper, we focus on addressing the limitations caused by having to specify blanks to be filled. We decompose conditional text generation problem into two tasks, make-a-blank and fill-in-the-blank, and extend the former to handle more complex manipulations on the given tokens. We cast these tasks as a hierarchical multi agent RL problem and introduce a conditional adversarial learning that allows the agents to reach a goal, producing realistic texts, in cooperative setting. We show that the proposed model not only addresses the limitations but also provides good results without compromising the performance in terms of quality and diversity.
Abstract（参考訳）: MaskGANは、与えられたトークン間の空白を埋めることで、条件付き言語モデルのクエリを開く。本稿では,空白を満たさなければならないという制約に対処することに注力する。我々は条件付きテキスト生成問題を,make-a-blank と fill-in-blank の2つのタスクに分解し,前者を拡張してより複雑なトークン操作を行う。我々はこれらのタスクを階層的マルチエージェントRL問題とみなし、エージェントが目標を達成する条件付き逆学習を導入し、現実的なテキストを協調的に生成する。提案モデルでは,限界に対処するだけでなく,品質や多様性の面で性能を損なうことなく良好な結果が得られることを示す。

関連論文リスト

Unlocking Tokens as Data Points for Generalization Bounds on Larger Language Models [79.70436109672599]
LLaMA2-70Bほどの大きさの大規模言語モデルの非空一般化境界を導出する。我々の研究は、実際にデプロイされ、高品質なテキストを生成するモデルに対する最初の非空き境界を達成する。
論文参考訳（メタデータ） (2024-07-25T16:13:58Z)
Empowering Character-level Text Infilling by Eliminating Sub-Tokens [34.37743927032878]
FIM-SEは"Fill-In-the-Middle"の略で、開始文字と終了文字の制約がある。本稿では,FIM-SEについて紹介する。
論文参考訳（メタデータ） (2024-05-27T12:21:48Z)
Token Alignment via Character Matching for Subword Completion [34.76794239097628]
本稿では,生成モデルにおけるテキスト補完におけるトークン化アーティファクトの緩和手法について検討する。この手法はトークンアライメントと呼ばれ、最後の完全なトークンをバックトラックし、モデルの生成がプロンプトと整合することを保証する。
論文参考訳（メタデータ） (2024-03-13T16:44:39Z)
TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models [69.49978333446538]
TEALは任意のモダリティからの入力をトークンシーケンスとして扱うアプローチである。トークンシーケンスを学習可能な埋め込み行列で結合埋め込み空間に埋め込む。実験により、TEALはマルチモーダル理解を大幅に改善することが示された。
論文参考訳（メタデータ） (2023-11-08T10:34:16Z)
AWTE-BERT:Attending to Wordpiece Tokenization Explicitly on BERT for Joint Intent Classification and SlotFilling [5.684659127683238]
BERT (Bidirectional Representations from Transformers) は2つのタスクを共同で最適化する。本稿では,ワードピーストークン化後の複数のサブトークン特徴を明示的にモデル化したBERTに基づく新しいジョイントモデルを提案する。実験により,本モデルが意図分類精度,スロットフィリングF1,文レベルの意味的フレーム精度を大幅に向上することを確認した。
論文参考訳（メタデータ） (2022-11-27T13:49:19Z)
RetroMAE v2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models [3.4523793651427113]
本稿では,[] と通常のトークンの両方のコンテキスト化埋め込みにおける意味表現能力の向上を目標とする,二重マスク付き自動エンコーダ DupMAE を提案する。 DupMAEは単純だが経験的競争力があり、デコードコストが小さいため、モデルの表現能力と転送可能性に大きく貢献する。
論文参考訳（メタデータ） (2022-11-16T08:57:55Z)
DisCup: Discriminator Cooperative Unlikelihood Prompt-tuning for Controllable Text Generation [6.844825905212349]
本稿では,識別器の属性知識を取り入れた新しいCTG手法であるDisCupを提案する。 DisCupは、約10の仮想トークンに頼るだけで、効率的で高品質なテキスト生成を維持しながら、新しい最先端の制御性能を実現することができる。
論文参考訳（メタデータ） (2022-10-18T02:59:06Z)
Improving Multi-task Generalization Ability for Neural Text Matching via Prompt Learning [54.66399120084227]
最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
論文参考訳（メタデータ） (2022-04-06T11:01:08Z)
Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing [110.4684789199555]
シナリオベースのセマンティックパーシングを導入し、最初に発話の「scenario」を曖昧にする必要がある元のタスクの変種を紹介します。この定式化により、タスクの粗くきめ細かな側面を分離することが可能となり、それぞれがオフザシェルフニューラルネットワークモジュールで解決される。私たちのモデルはモジュール化され、差別化可能で、解釈可能で、シナリオから余分な監督を得られるようになります。
論文参考訳（メタデータ） (2022-02-02T08:00:21Z)
Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection [62.071938098215085]
我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。生成したテキストの意味的正しさを高めるための戦略を提案する。
論文参考訳（メタデータ） (2020-12-19T23:23:40Z)
Enabling Language Models to Fill in the Blanks [81.59381915581892]
文書中の任意の位置にあるテキストの欠落を予測するタスクである,テキストを埋め込むためのシンプルなアプローチを提案する。我々は、人工的にマスキングされたテキストと隠蔽されたテキストの連結を含むシーケンスに基づいて、オフザシェルフ言語モデル(またはファインチューン)を訓練する。言語モデリングにより,この手法により,3つの分野(短編,科学的な要約,歌詞)において,LMが文全体を効果的に埋め込むことができることを示す。
論文参考訳（メタデータ） (2020-05-11T18:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。