論文の概要: Modeling Comparative Logical Relation with Contrastive Learning for Text Generation

• arxiv url: http://arxiv.org/abs/2406.09095v1
• Date: Thu, 13 Jun 2024 13:25:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 17:54:00.181441
• Title: Modeling Comparative Logical Relation with Contrastive Learning for Text Generation
• Title（参考訳）: テキスト生成のためのコントラスト学習による論理的比較関係のモデル化
• Authors: Yuhao Dan, Junfeng Tian, Jie Zhou, Ming Yan, Ji Zhang, Qin Chen, Liang He,
• Abstract要約: 比較論理関係生成(CLRG)と呼ばれる新しいD2Tタスクを導入する。 比較論理(CoLo)に基づくテキスト生成手法を提案する。 本手法は, 自動評価と人的評価の両方において, 優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 43.814189025925096
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Data-to-Text Generation (D2T), a classic natural language generation problem, aims at producing fluent descriptions for structured input data, such as a table. Existing D2T works mainly focus on describing the superficial associative relations among entities, while ignoring the deep comparative logical relations, such as A is better than B in a certain aspect with a corresponding opinion, which is quite common in our daily life. In this paper, we introduce a new D2T task named comparative logical relation generation (CLRG). Additionally, we propose a Comparative Logic (CoLo) based text generation method, which generates texts following specific comparative logical relations with contrastive learning. Specifically, we first construct various positive and negative samples by fine-grained perturbations in entities, aspects and opinions. Then, we perform contrastive learning in the encoder layer to have a better understanding of the comparative logical relations, and integrate it in the decoder layer to guide the model to correctly generate the relations. Noting the data scarcity problem, we construct a Chinese Comparative Logical Relation Dataset (CLRD), which is a high-quality human-annotated dataset and challenging for text generation with descriptions of multiple entities and annotations on their comparative logical relations. Extensive experiments show that our method achieves impressive performance in both automatic and human evaluations.
• Abstract（参考訳）: 古典的な自然言語生成問題であるData-to-Text Generation (D2T) は,テーブルなどの構造化された入力データに対して,流動的な記述を生成することを目的としている。 既存のD2Tは主に、エンティティ間の表面的な連想関係を記述することに焦点を当て、Aのような深い論理的関係を無視することは、私たちの日常生活において非常に一般的な、対応する意見を持つある面において、Bよりも優れている。 本稿では,比較論理関係生成(CLRG)と呼ばれる新しいD2Tタスクを提案する。 さらに,比較論理(CoLo)に基づくテキスト生成手法を提案する。 具体的には, 様々な正・負のサンプルを, 実体, 側面, 意見の微細な摂動によって構築する。 そこで,我々は,エンコーダ層において,比較論理関係をよりよく理解するためにコントラスト学習を行い,それをデコーダ層に統合してモデルを誘導し,関係を正しく生成する。 データ不足の問題に言及し、高品質な人間アノテーション付きデータセットである中国比較論理関係データセット(CLRD)を構築し、その比較論理関係について複数のエンティティやアノテーションを記述したテキスト生成に挑戦する。 大規模な実験により, 自動評価と人的評価の両方において, 優れた性能が得られた。

関連論文リスト

• Comparative Analysis of Contextual Relation Extraction based on Deep Learning Models [0.0]
  バイオメディカル産業におけるドメイン知識の創出には, 効率的かつ正確なCREシステムが必要である。 深層学習技術は、複数の文からコンテキストに基づいて適切な意味関係を識別するために用いられてきた。 本稿では,関係抽出に使用される様々な深層学習モデルの解析について述べる。
  論文  参考訳（メタデータ） (2023-09-13T09:05:09Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• Making a (Counterfactual) Difference One Rationale at a Time [5.97507595130844]
  本研究では,人的支援を伴わない反現実的データ拡張が,セレクタの性能を向上させることができるかどうかを考察する。 以上の結果から,CDAは関心のシグナルをよりよく捉えた合理性を生み出すことが示唆された。
  論文  参考訳（メタデータ） (2022-01-13T19:05:02Z)
• Logic-Consistency Text Generation from Semantic Parses [32.543257899910216]
  本稿ではまず,意味解析から論理一貫性のあるテキストを生成するフレームワークであるSNOWBALLを提案する。 次に,意味解析と生成したテキスト間の論理的整合性を評価するための新しい自動計量BLECを提案する。
  論文  参考訳（メタデータ） (2021-08-02T01:12:18Z)
• Learning to Synthesize Data for Semantic Parsing [57.190817162674875]
  本稿では,プログラムの構成をモデル化し,プログラムを発話にマップする生成モデルを提案する。 PCFGと事前学習されたBARTの簡易性により,既存のデータから効率的に生成モデルを学習することができる。 GeoQuery と Spider の標準ベンチマークで解析する text-to-Query の in-domain と out-of-domain の両方で、この手法を評価します。
  論文  参考訳（メタデータ） (2021-04-12T21:24:02Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。