論文の概要: Neural Text Generation with Artificial Negative Examples

• arxiv url: http://arxiv.org/abs/2012.14124v1
• Date: Mon, 28 Dec 2020 07:25:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 11:13:45.099935
• Title: Neural Text Generation with Artificial Negative Examples
• Title（参考訳）: 人工陰性例を用いたニューラルテキスト生成
• Authors: Keisuke Shirai, Kazuma Hashimoto, Akiko Eriguchi, Takashi Ninomiya, Shinsuke Mori
• Abstract要約: 強化学習フレームワークでテキスト生成モデルを訓練することにより,任意のタイプのエラーを抑制することを提案する。 我々は、目標となるタイプのエラーを含む参照と文を識別できる訓練可能な報酬関数を使用する。 実験の結果,生成誤差の抑制と2つの機械翻訳と2つの画像キャプションタスクの大幅な改善を達成できることが示された。
• 参考スコア（独自算出の注目度）: 7.187858820534111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural text generation models conditioning on given input (e.g. machine translation and image captioning) are usually trained by maximum likelihood estimation of target text. However, the trained models suffer from various types of errors at inference time. In this paper, we propose to suppress an arbitrary type of errors by training the text generation model in a reinforcement learning framework, where we use a trainable reward function that is capable of discriminating between references and sentences containing the targeted type of errors. We create such negative examples by artificially injecting the targeted errors to the references. In experiments, we focus on two error types, repeated and dropped tokens in model-generated text. The experimental results show that our method can suppress the generation errors and achieve significant improvements on two machine translation and two image captioning tasks.
• Abstract（参考訳）: 入力の条件付け(例えば、ニューラルネットワークの生成モデル)。 機械翻訳と画像キャプション)は通常、ターゲットテキストの最大推定によって訓練される。 しかし、トレーニングされたモデルは、推論時に様々なタイプのエラーに苦しむ。 本稿では,テキスト生成モデルを強化学習フレームワークでトレーニングし,対象の誤りを含む参照と文を識別可能な学習可能な報酬関数を用いて任意のタイプの誤りを抑制することを提案する。 対象とするエラーを参照に人工的に注入することで、このようなネガティブな例を生成する。 実験では,モデル生成テキストにおけるトークンの繰り返しと削除という2つのエラータイプに注目した。 実験の結果,提案手法は生成誤差を抑え,2つの機械翻訳と2つの画像キャプションタスクにおいて大幅な改善が得られた。

関連論文リスト

• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Capitalization Normalization for Language Modeling with an Accurate and Efficient Hierarchical RNN Model [12.53710938104476]
  本稿では,高速で高精度でコンパクトな2階層型単語と文字に基づくリカレントニューラルネットワークモデルを提案する。 言語モデリングのためのFederated Learningフレームワークでは、 truecaserを使ってユーザ生成テキストを正規化しています。
  論文  参考訳（メタデータ） (2022-02-16T16:21:53Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic [72.60554897161948]
  最近のテキストと画像のマッチングモデルは、未修正画像と文の大きなコーパスに対してコントラスト学習を適用している。 本研究では、そのようなモデルを用いて、推論時に画像が与えられた記述テキストを生成する。 結果として得られたキャプションは、教師付きキャプション法によるキャプションよりもはるかに制限を受けない。
  論文  参考訳（メタデータ） (2021-11-29T11:01:49Z)
• Scarecrow: A Framework for Scrutinizing Machine Text [69.26985439191151]
  我々はScarecrowと呼ばれる新しい構造化されたクラウドソースエラーアノテーションスキーマを導入する。 Scarecrowは1.3kの人文と機械が生成する英語ニューステキストの13kのアノテーションを収集する。 これらの結果は,現在および将来のテキスト生成システムの評価において,Scarecrowアノテーションの価値を示すものである。
  論文  参考訳（メタデータ） (2021-07-02T22:37:03Z)
• Grammatical Error Generation Based on Translated Fragments [0.0]
  英語の文法的誤り訂正のための大量のトレーニングデータを作成するために,文片のニューラルマシン翻訳を行う。 本手法は,第2言語学習者が犯した誤りをシミュレートすることを目的として,非ネイティブスタイル言語を幅広く生成する。
  論文  参考訳（メタデータ） (2021-04-20T12:43:40Z)
• Improving Translation Robustness with Visual Cues and Error Correction [58.97421756225425]
  ノイズの多いテキストに対する翻訳の堅牢性を改善するビジュアルコンテキストのアイデアを紹介します。 また,誤り訂正を補助タスクとして扱うことで,新しい誤り訂正訓練手法を提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:31:34Z)
• Contrastive Learning with Adversarial Perturbations for Conditional Text Generation [49.055659008469284]
  seq2seqモデルのコントラスト学習のための正負のサンプルを生成する原則的な方法を提案する。 具体的には、入力シーケンスに小さな摂動を加えることで、条件付き可能性を最小限に抑えるネガティブな例を生成します。 提案手法は,3つのテキスト生成タスクにおけるSeq2seqの一般化を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-12-14T06:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。