論文の概要: Neural Text Generation with Artificial Negative Examples

• arxiv url: http://arxiv.org/abs/2012.14124v1
• Date: Mon, 28 Dec 2020 07:25:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 11:13:45.099935
• Title: Neural Text Generation with Artificial Negative Examples
• Title（参考訳）: 人工陰性例を用いたニューラルテキスト生成
• Authors: Keisuke Shirai, Kazuma Hashimoto, Akiko Eriguchi, Takashi Ninomiya, Shinsuke Mori
• Abstract要約: 強化学習フレームワークでテキスト生成モデルを訓練することにより,任意のタイプのエラーを抑制することを提案する。 我々は、目標となるタイプのエラーを含む参照と文を識別できる訓練可能な報酬関数を使用する。 実験の結果,生成誤差の抑制と2つの機械翻訳と2つの画像キャプションタスクの大幅な改善を達成できることが示された。
• 参考スコア（独自算出の注目度）: 7.187858820534111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural text generation models conditioning on given input (e.g. machine translation and image captioning) are usually trained by maximum likelihood estimation of target text. However, the trained models suffer from various types of errors at inference time. In this paper, we propose to suppress an arbitrary type of errors by training the text generation model in a reinforcement learning framework, where we use a trainable reward function that is capable of discriminating between references and sentences containing the targeted type of errors. We create such negative examples by artificially injecting the targeted errors to the references. In experiments, we focus on two error types, repeated and dropped tokens in model-generated text. The experimental results show that our method can suppress the generation errors and achieve significant improvements on two machine translation and two image captioning tasks.
• Abstract（参考訳）: 入力の条件付け(例えば、ニューラルネットワークの生成モデル)。 機械翻訳と画像キャプション)は通常、ターゲットテキストの最大推定によって訓練される。 しかし、トレーニングされたモデルは、推論時に様々なタイプのエラーに苦しむ。 本稿では,テキスト生成モデルを強化学習フレームワークでトレーニングし,対象の誤りを含む参照と文を識別可能な学習可能な報酬関数を用いて任意のタイプの誤りを抑制することを提案する。 対象とするエラーを参照に人工的に注入することで、このようなネガティブな例を生成する。 実験では,モデル生成テキストにおけるトークンの繰り返しと削除という2つのエラータイプに注目した。 実験の結果,提案手法は生成誤差を抑え,2つの機械翻訳と2つの画像キャプションタスクにおいて大幅な改善が得られた。

関連論文リスト

• Few-Shot Detection of Machine-Generated Text using Style Representations [4.326503887981912]
  人間の文章を巧みに模倣する言語モデルは、虐待のかなりのリスクを負う。 そこで本研究では,人間が作成したテキストから推定した書体スタイルの表現を活用することを提案する。 また,人間と機械作家の区別にも有効であることがわかった。
  論文  参考訳（メタデータ） (2024-01-12T17:26:51Z)
• Error Norm Truncation: Robust Training in the Presence of Data Noise for Text Generation Models [39.37532848489779]
  本稿では,ノイズの多いデータをトラストする標準学習目標に対する頑健な強化手法であるError Norm Truncation (ENT)を提案する。 ENTは,従来のソフト・ハード・トランケーション法よりも生成品質の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-02T01:30:27Z)
• A Methodology for Generative Spelling Correction via Natural Spelling Errors Emulation across Multiple Domains and Languages [39.75847219395984]
  本稿では,英語とロシア語でテストした生成スペル補正法について述べる。 本研究では,これらの誤りを正しい文でエミュレートして生成モデルの事前訓練手順を効果的に強化する方法について検討する。 SAGE(Spell check via Augmentation and Generative Distribution Emulation)を紹介します。
  論文  参考訳（メタデータ） (2023-08-18T10:07:28Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• Scarecrow: A Framework for Scrutinizing Machine Text [69.26985439191151]
  我々はScarecrowと呼ばれる新しい構造化されたクラウドソースエラーアノテーションスキーマを導入する。 Scarecrowは1.3kの人文と機械が生成する英語ニューステキストの13kのアノテーションを収集する。 これらの結果は,現在および将来のテキスト生成システムの評価において,Scarecrowアノテーションの価値を示すものである。
  論文  参考訳（メタデータ） (2021-07-02T22:37:03Z)
• Grammatical Error Generation Based on Translated Fragments [0.0]
  英語の文法的誤り訂正のための大量のトレーニングデータを作成するために,文片のニューラルマシン翻訳を行う。 本手法は,第2言語学習者が犯した誤りをシミュレートすることを目的として,非ネイティブスタイル言語を幅広く生成する。
  論文  参考訳（メタデータ） (2021-04-20T12:43:40Z)
• Improving Translation Robustness with Visual Cues and Error Correction [58.97421756225425]
  ノイズの多いテキストに対する翻訳の堅牢性を改善するビジュアルコンテキストのアイデアを紹介します。 また,誤り訂正を補助タスクとして扱うことで,新しい誤り訂正訓練手法を提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:31:34Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。