論文の概要: Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection

• arxiv url: http://arxiv.org/abs/2012.10813v1
• Date: Sat, 19 Dec 2020 23:23:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 11:13:28.361117
• Title: Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection
• Title（参考訳）: コモンセンス知識抽出とインジェクションによる語彙制約付きテキスト生成
• Authors: Yikang Li, Pulkit Goel, Varsha Kuppur Rajendra, Har Simrat Singh, Jonathan Francis, Kaixin Ma, Eric Nyberg, Alessandro Oltramari
• Abstract要約: 我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。 生成したテキストの意味的正しさを高めるための戦略を提案する。
• 参考スコア（独自算出の注目度）: 62.071938098215085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conditional text generation has been a challenging task that is yet to see human-level performance from state-of-the-art models. In this work, we specifically focus on the Commongen benchmark, wherein the aim is to generate a plausible sentence for a given set of input concepts. Despite advances in other tasks, large pre-trained language models that are fine-tuned on this dataset often produce sentences that are syntactically correct but qualitatively deviate from a human understanding of common sense. Furthermore, generated sequences are unable to fulfill such lexical requirements as matching part-of-speech and full concept coverage. In this paper, we explore how commonsense knowledge graphs can enhance model performance, with respect to commonsense reasoning and lexically-constrained decoding. We propose strategies for enhancing the semantic correctness of the generated text, which we accomplish through: extracting commonsense relations from Conceptnet, injecting these relations into the Unified Language Model (UniLM) through attention mechanisms, and enforcing the aforementioned lexical requirements through output constraints. By performing several ablations, we find that commonsense injection enables the generation of sentences that are more aligned with human understanding, while remaining compliant with lexical requirements.
• Abstract（参考訳）: 条件付きテキスト生成は、最先端のモデルから人間レベルのパフォーマンスをまだ見ていない難題である。 本研究では,特定の入力概念のセットに対して妥当な文を生成することを目的として,commongenベンチマークに注目した。 他の作業の進歩にもかかわらず、このデータセットで微調整された大きな事前学習された言語モデルは、構文的に正しいが、人間の常識の理解から定性的に逸脱する文を生成することが多い。 さらに、生成されたシーケンスは、パート・オブ・音声と完全な概念カバレッジとを一致させるような語彙要求を満たすことができない。 本稿では,コモンセンス推論と語彙制約付きデコードに関して,コモンセンス知識グラフがモデル性能をどのように向上させるかを検討する。 本稿では,コンセプションネットからコモンセンス関係を抽出し,注意機構を通じて統一言語モデル(Unified Language Model,UniLM)にこれらの関係を注入し,上記の語彙要求を出力制約により強制する手法を提案する。 複数のアブレーションを行うことで、コモンセンスインジェクションは、語彙的要件に準拠しながら、人間の理解とより一致した文を生成することができる。

関連論文リスト

• XPrompt:Explaining Large Language Model's Generation via Joint Prompt Attribution [26.639271355209104]
  LLM(Large Language Models)は複雑なテキスト生成タスクにおいて顕著なパフォーマンスを示す。 生成したコンテンツに対する入力プロンプトの寄与は、まだ人間には明らかでない。 本稿では,共同プロンプト帰属型XPromptに基づく実例説明フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-30T18:16:41Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• SituatedGen: Incorporating Geographical and Temporal Contexts into Generative Commonsense Reasoning [55.44065342292846]
  生成的コモンセンス推論(英: Generative Commonsense reasoning)とは、一群のキーワードが与えられた機械が、コモンセンスの確率で単一のコヒーレントな文を構成することを要求するタスクである。 我々は、この課題をSituatedGenとして定式化し、地理的または時間的エンティティを含むキーワード群を与えられたコントラスト文のペアを生成する。 実験によると、最先端の生成言語モデルは、常識的妥当性のある文を生成するのに苦労し、人間のパフォーマンスよりずっと遅れている。
  論文  参考訳（メタデータ） (2023-06-21T20:36:55Z)
• Discontinuous Grammar as a Foreign Language [0.7412445894287709]
  構成解析のためのシーケンス・ツー・シーケンス・モデルの枠組みを拡張した。 我々は不連続性を完全に生成できるいくつかの新規化を設計する。 提案手法はまず,主要な不連続なベンチマーク上でシーケンス・ツー・シーケンス・モデルをテストする。
  論文  参考訳（メタデータ） (2021-10-20T08:58:02Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)
• Nutribullets Hybrid: Multi-document Health Summarization [36.95954983680022]
  本稿では,入力文書の類似性と矛盾を強調する比較要約を生成する手法を提案する。 私たちのフレームワークは、より忠実で関連性があり、集約に敏感な要約につながります。
  論文  参考訳（メタデータ） (2021-04-08T01:44:29Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Commonsense Evidence Generation and Injection in Reading Comprehension [57.31927095547153]
  本稿では,CEGI と命名された理解を読み取るためのコモンセンス・エビデンス・ジェネレーション・インジェクション・フレームワークを提案する。 この枠組みは、2種類の補助的コモンセンス証拠を包括的読解に注入し、機械に合理的思考能力を持たせる。 CosmosQAデータセットの実験では、提案されたCEGIモデルが現在の最先端アプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-11T16:31:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。