論文の概要: Constrained Text Generation with Global Guidance -- Case Study on CommonGen

• arxiv url: http://arxiv.org/abs/2103.07170v1
• Date: Fri, 12 Mar 2021 09:40:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-15 13:26:16.806833
• Title: Constrained Text Generation with Global Guidance -- Case Study on CommonGen
• Title（参考訳）: グローバルガイダンスによる制約付きテキスト生成 -- CommonGen のケーススタディ
• Authors: Yixian Liu, Liwen Zhang, Wenjuan Han, Yue Zhang, Kewei Tu
• Abstract要約: 本稿では,特定の前提条件下で文を生成する制約付きテキスト生成について検討する。 制約付きテキスト生成の代表的なタスクとして,概念セットに基づいたテキスト生成タスクであるCommonGenに注目した。
• 参考スコア（独自算出の注目度）: 35.620489119162215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies constrained text generation, which is to generate sentences under certain pre-conditions. We focus on CommonGen, the task of generating text based on a set of concepts, as a representative task of constrained text generation. Traditional methods mainly rely on supervised training to maximize the likelihood of target sentences.However, global constraints such as common sense and coverage cannot be incorporated into the likelihood objective of the autoregressive decoding process. In this paper, we consider using reinforcement learning to address the limitation, measuring global constraints including fluency, common sense and concept coverage with a comprehensive score, which serves as the reward for reinforcement learning. Besides, we design a guided decoding method at the word, fragment and sentence levels. Experiments demonstrate that our method significantly increases the concept coverage and outperforms existing models in various automatic evaluations.
• Abstract（参考訳）: 本稿では,特定の前提条件下で文を生成する制約付きテキスト生成について検討する。 制約付きテキスト生成の代表的なタスクとして,概念セットに基づいたテキスト生成タスクであるCommonGenに注目した。 従来の手法は, 対象文の可能性を最大化するために指導的訓練を主眼とするが, 自己回帰的復号プロセスの潜在的目的には, 常識やカバレッジといったグローバルな制約が組み込まれない。 本稿では,強化学習の報奨となる総合的なスコアを用いて,フラレンシ,常識,概念カバレッジなど世界的な制約を測定することを目的とした強化学習について検討する。 さらに,単語,フラグメント,文レベルでのガイド付き復号法を設計する。 実験により,提案手法は概念カバレッジを著しく向上させ,既存のモデルを各種自動評価で上回ることを示した。

関連論文リスト

• Mind the Gap: A Generalized Approach for Cross-Modal Embedding Alignment [0.0]
  Retrieval-Augmented Generation (RAG) システムは、意味的ギャップによって異なるテキストモダリティ間でコンテキストを検索する。 本稿では,これらのギャップを効率的に埋める汎用投影法を提案する。 私たちのアプローチでは、トレーニングや推論に最小限のリソースを必要とするため、スピード、正確性、データ効率を重視しています。
  論文  参考訳（メタデータ） (2024-10-30T20:28:10Z)
• Principled Gradient-based Markov Chain Monte Carlo for Text Generation [77.46654898866291]
  目標エネルギーに基づくテキスト分布を正確にサンプリングするために, 忠実な勾配に基づくサンプリングアルゴリズムを提案する。 我々は、忠実なサンプリング者が制御対象に忠実に固執しながら、より流動的なテキストを生成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-29T18:00:56Z)
• Plug-and-Play Recipe Generation with Content Planning [28.65323853250831]
  本稿では,生成されたテキストのグローバルなコンテンツプランを明示的にモデル化するフレームワークを提案する。 プラグイン・アンド・プレイ方式で自然言語シーケンスとグローバルコンテンツプランの同時配信を最適化する。 本モデルは,レシピ生成作業における最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-12-09T19:39:10Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)
• Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection [62.071938098215085]
  我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。 生成したテキストの意味的正しさを高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-19T23:23:40Z)
• Towards Faithful Neural Table-to-Text Generation with Content-Matching Constraints [63.84063384518667]
  そこで本研究では,トランスフォーマーをベースとした新たな生成フレームワークを提案する。 忠実度を強制する手法の中核となる技術は、テーブル-テキストの最適トランスポート・マッチング・ロスである。 忠実度を評価するため,テーブル・ツー・テキスト生成問題に特化した新しい自動尺度を提案する。
  論文  参考訳（メタデータ） (2020-05-03T02:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。