論文の概要: May the Force Be with Your Copy Mechanism: Enhanced Supervised-Copy Method for Natural Language Generation

• arxiv url: http://arxiv.org/abs/2112.10360v1
• Date: Mon, 20 Dec 2021 06:54:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 16:18:57.356063
• Title: May the Force Be with Your Copy Mechanism: Enhanced Supervised-Copy Method for Natural Language Generation
• Title（参考訳）: 力とコピーのメカニズム: 自然言語生成のための強化された監視コピー法
• Authors: Sanghyuk Choi, Jeong-in Hwang, Hyungjong Noh, Yeonsoo Lee
• Abstract要約: 本稿では,どの単語をコピーする必要があるか,どの単語を生成する必要があるかをモデルが決定するのに役立つ,コピーネットワークの新しい教師付きアプローチを提案する。 具体的には、ソースシーケンスとターゲット語彙をコピーのガイダンスとして利用する目的関数を再定義する。 データ・テキスト・ジェネレーションと抽象的要約タスクの実験結果から,本手法が複写品質を高め,抽象性の程度を向上することを確認した。
• 参考スコア（独自算出の注目度）: 1.2453219864236247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent neural sequence-to-sequence models with a copy mechanism have achieved remarkable progress in various text generation tasks. These models addressed out-of-vocabulary problems and facilitated the generation of rare words. However, the identification of the word which needs to be copied is difficult, as observed by prior copy models, which suffer from incorrect generation and lacking abstractness. In this paper, we propose a novel supervised approach of a copy network that helps the model decide which words need to be copied and which need to be generated. Specifically, we re-define the objective function, which leverages source sequences and target vocabularies as guidance for copying. The experimental results on data-to-text generation and abstractive summarization tasks verify that our approach enhances the copying quality and improves the degree of abstractness.
• Abstract（参考訳）: 近年,コピー機構を持つニューラルシークエンス-シーケンスモデルが様々なテキスト生成タスクにおいて著しい進歩を遂げている。 これらのモデルは語彙外問題に対処し、稀な単語の生成を促進した。 しかし、誤生成と抽象性の欠如に苦しむ先行コピーモデルによって観察されるように、コピーすべき単語の識別は困難である。 本稿では,どの単語をコピーする必要があるか,どの単語を生成する必要があるかをモデルが決定するのに役立つ,コピーネットワークの新しい教師付きアプローチを提案する。 具体的には、ソースシーケンスとターゲット語彙をコピーのガイダンスとして利用する目的関数を再定義する。 データ・テキスト生成および抽象要約タスクの実験結果から,本手法がコピー品質を高め,抽象性の程度を向上することを確認した。

関連論文リスト

• Mitigating Copy Bias in In-Context Learning through Neuron Pruning [74.91243772654519]
  大規模言語モデル(LLM)は、コンテキスト内学習能力に目を見張るものはほとんどない。 それらは、基礎となるパターンを学ぶ代わりに、提供された例から回答をコピーする。 このような複写バイアスを軽減するための,新しい簡易な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T07:18:16Z)
• Copy Is All You Need [66.00852205068327]
  既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。 提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。 当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-07-13T05:03:26Z)
• A Scalable and Efficient Iterative Method for Copying Machine Learning Classifiers [0.802904964931021]
  本稿では,機械学習モデルのコピーのトレーニングや維持に必要な計算資源を大幅に削減する,新しいシーケンシャルなアプローチを提案する。 シーケンシャルアプローチの有効性は、合成データセットと実世界のデータセットによる実験を通じて実証され、正確性を維持したり改善したりしながら、時間とリソースの大幅な削減を示す。
  論文  参考訳（メタデータ） (2023-02-06T10:07:41Z)
• Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models [103.61066310897928]
  最近のテキスト・ツー・イメージ生成モデルは、ターゲットのテキスト・プロンプトによって導かれる多様な創造的な画像を生成する非例外的な能力を実証している。 革命的ではあるが、現在の最先端拡散モデルは、与えられたテキストプロンプトのセマンティクスを完全に伝達するイメージの生成に失敗する可能性がある。 本研究では, 一般に公開されている安定拡散モデルを分析し, 破滅的無視の有無を評価し, そのモデルが入力プロンプトから1つ以上の被写体を生成するのに失敗した場合について検討する。 提案するジェネレーティブ・セマンティック・ナーシング(GSN)の概念は、推論時間中にハエの生殖過程に介入し、忠実性を改善するものである。
  論文  参考訳（メタデータ） (2023-01-31T18:10:38Z)
• MOCHA: A Multi-Task Training Approach for Coherent Text Generation from Cognitive Perspective [22.69509556890676]
  本稿では,文章の認知理論に基づくコヒーレントテキスト生成のための新しいマルチタスク学習戦略を提案する。 我々は,物語生成,ニュース記事作成,議論生成という3つのオープンエンド世代タスクに対して,我々のモデルを広範囲に評価する。
  論文  参考訳（メタデータ） (2022-10-26T11:55:41Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• To Point or Not to Point: Understanding How Abstractive Summarizers Paraphrase Text [4.4044968357361745]
  本稿では、Seeなどのポインタジェネレータモデルである1つの一般的な抽象モデルが、その抽象レベルを制御するために、その明示的なコピー/ジェネレータスイッチを使用していることを特徴付ける。 コピー/ジェネレーションスイッチを変更してモデルを強制すると、実際の不正確さと幻覚とともに単純な神経能力のみが明らかになる。 これらの結果から,抽象的要約モデルには,抽象的かつ忠実なパラフレーズを生成するために必要な意味的理解が欠如していることが示唆された。
  論文  参考訳（メタデータ） (2021-06-03T04:03:15Z)
• Reinforced Generative Adversarial Network for Abstractive Text Summarization [7.507096634112164]
  シーケンス・ツー・シーケンス・モデルは、生成的要約に対する実行可能な新しいアプローチを提供する。 これらのモデルには3つの欠点がある: 原文の詳細の把握はしばしば不正確なものであり、そのようなモデルによって生成されたテキストは繰り返しとなることが多い。 本稿では,強化学習と敵対的生成ネットワークを組み合わせた新しいアーキテクチャを提案し,シーケンス・ツー・シーケンス・アテンション・モデルを提案する。
  論文  参考訳（メタデータ） (2021-05-31T17:34:47Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)
• Reverse Engineering Configurations of Neural Text Generation Models [86.9479386959155]
  モデル選択の結果、機械が生成したテキストに現れるアーティファクトの研究は、新しい研究領域である。 我々は、モデリング選択が検出可能なアーティファクトを生成テキストに残すかどうかを確認するために、広範囲な診断テストを実行する。 我々の重要な発見は、厳密な実験によって裏付けられ、そのような成果物が存在することと、生成されたテキストのみを観察することで異なるモデリング選択を推測できることである。
  論文  参考訳（メタデータ） (2020-04-13T21:02:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。