論文の概要: Learning to Write with Coherence From Negative Examples

• arxiv url: http://arxiv.org/abs/2209.10922v1
• Date: Thu, 22 Sep 2022 11:02:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 13:15:11.128745
• Title: Learning to Write with Coherence From Negative Examples
• Title（参考訳）: 否定的な例からコヒーレンスで書くことを学ぶ
• Authors: Seonil Son, Jaeseo Lim, Youwon Jang, Jaeyoung Lee, Byoung-Tak Zhang
• Abstract要約: 本稿では,ニューラルエンコーダ・デコーダ自然言語生成(NLG)モデルに対する記述関連性(WR)トレーニング手法を提案する。 WR損失は、文脈のベクトル表現と生成された文を、負と対比することで正の連続に回帰する。
• 参考スコア（独自算出の注目度）: 21.531952632690146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coherence is one of the critical factors that determine the quality of writing. We propose writing relevance (WR) training method for neural encoder-decoder natural language generation (NLG) models which improves coherence of the continuation by leveraging negative examples. WR loss regresses the vector representation of the context and generated sentence toward positive continuation by contrasting it with the negatives. We compare our approach with Unlikelihood (UL) training in a text continuation task on commonsense natural language inference (NLI) corpora to show which method better models the coherence by avoiding unlikely continuations. The preference of our approach in human evaluation shows the efficacy of our method in improving coherence.
• Abstract（参考訳）: コヒーレンス(Coherence)は,文章の質を決定する重要な要因のひとつだ。 本稿では,ニューラルエンコーダ・デコーダ自然言語生成(NLG)モデルに対する記述関連性(WR)学習手法を提案する。 wr損失は文脈のベクトル表現を後退させ、生成した文は負と対比して正継続へ向く。 提案手法は,コモンセンス自然言語推論(NLI)コーパスに基づくテキスト継続タスクにおいて,不可能な継続を避けることにより,コヒーレンスをより良くモデル化する手法を示す。 人的評価におけるアプローチの選好は,コヒーレンス改善における手法の有効性を示す。

関連論文リスト

• READ: Improving Relation Extraction from an ADversarial Perspective [33.44949503459933]
  関係抽出(RE)に特化して設計された対角的学習法を提案する。 提案手法では,シーケンスレベルの摂動とトークンレベルの摂動の両方をサンプルに導入し,個別の摂動語彙を用いてエンティティとコンテキストの摂動の探索を改善する。
  論文  参考訳（メタデータ） (2024-04-02T16:42:44Z)
• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Improving Contrastive Learning of Sentence Embeddings from AI Feedback [43.56070504980024]
  教師付きコントラスト学習は、人間のフィードバックラベルとより正確なサンプルペアを生成することができる。 提案手法は,大規模な事前学習言語モデルからのAIフィードバックを利用して,詳細なサンプル類似度スコアを持つサンプルペアを構築する。 実験結果から,本手法はいくつかの意味的テキスト類似性タスクにおいて,最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2023-05-03T06:26:13Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Debiased Contrastive Learning of Unsupervised Sentence Representations [88.58117410398759]
  コントラスト学習は、事前訓練された言語モデル(PLM)を改善し、高品質な文表現を導き出すのに有効である。 以前の作業は、主にランダムにトレーニングデータからバッチ内陰性またはサンプルを採用する。 我々はこれらの不適切な負の影響を軽減するための新しいフレームワーク textbfDCLR を提案する。
  論文  参考訳（メタデータ） (2022-05-02T05:07:43Z)
• A Mutually Reinforced Framework for Pretrained Sentence Embeddings [49.297766436632685]
  InfoCSEは高品質な文埋め込みを学習するための新しいフレームワークである。 文表現モデル自体を利用して、以下の反復的な自己スーパービジョンプロセスを実現する。 言い換えれば、表現学習とデータアノテーションは相互に強化され、強い自己超越効果が導出される。
  論文  参考訳（メタデータ） (2022-02-28T14:00:16Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
  否定は自然言語の中核構造である。 本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。 否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
  論文  参考訳（メタデータ） (2021-05-07T21:58:35Z)
• Disentangled Contrastive Learning for Learning Robust Textual Representations [13.880693856907037]
  運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。 NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-04-11T03:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。