論文の概要: Extract, Denoise, and Enforce: Evaluating and Predicting Lexical Constraints for Conditional Text Generation

• arxiv url: http://arxiv.org/abs/2104.08724v1
• Date: Sun, 18 Apr 2021 05:29:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:09:24.711395
• Title: Extract, Denoise, and Enforce: Evaluating and Predicting Lexical Constraints for Conditional Text Generation
• Title（参考訳）: 抽出・復調・強制:条件付きテキスト生成のための語彙制約の評価・予測
• Authors: Yuning Mao, Wenchang Ma, Deren Lei, Xiang Ren
• Abstract要約: 現在のPLMが入力に重要な概念を保存するのに十分であるかどうかを研究するために条件生成の体系的な分析を提示する。 本稿では,制約のない世代に比較して,自動制約抽出,デノベーション,実施の枠組みを提案する。
• 参考スコア（独自算出の注目度）: 31.341566859483056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, pre-trained language models (PLMs) have dominated conditional text generation tasks. Given the impressive performance and prevalence of the PLMs, it is seemingly natural to assume that they could figure out what to attend to in the input and what to include in the output via seq2seq learning without more guidance than the training input/output pairs. However, a rigorous study regarding the above assumption is still lacking. In this paper, we present a systematic analysis of conditional generation to study whether current PLMs are good enough for preserving important concepts in the input and to what extent explicitly guiding generation with lexical constraints is beneficial. We conduct extensive analytical experiments on a range of conditional generation tasks and try to answer in what scenarios guiding generation with lexical constraints works well and why. We then propose a framework for automatic constraint extraction, denoising, and enforcement that is shown to perform comparably or better than unconstrained generation. We hope that our findings could serve as a reference when determining whether it is appropriate and worthwhile to use explicit constraints for a specific task or dataset.\footnote{Our code is available at \url{https://github.com/morningmoni/LCGen-eval}.}
• Abstract（参考訳）: 近年,プレトレーニング言語モデル (PLM) が条件付きテキスト生成タスクを支配している。 PLMの性能と有病率を考えると、彼らは入力に何を参加すべきか、セク2セック学習を通じて出力に何を組み込むべきかを、トレーニングのインプット/アウトプットペアよりもガイダンスなしで知ることができると仮定することは自然である。 しかし、上記の前提に関する厳密な研究はまだ欠落している。 本稿では,条件付き生成の体系的分析を行い,現在のplmが入力における重要な概念の保存に十分であるか,語彙制約付き生成をいかに明確に導くかを検討する。 我々は,条件付き生成タスクの広範囲な分析実験を行い,語彙制約付き生成を導くシナリオとその理由について考察する。 次に,制約の自動抽出,推論,強制のためのフレームワークを提案する。 特定のタスクやデータセットに対して明示的な制約を使用することが適切かどうかを判断する上で、私たちの発見が参考になることを期待しています。

関連論文リスト

• Graph-DPEP: Decomposed Plug and Ensemble Play for Few-Shot Document Relation Extraction with Graph-of-Thoughts Reasoning [34.85741925091139]
  Graph-DPEPフレームワークは、自然言語で提示された三重項の説明思想の背景にある。 我々は,サブグラフに埋め込まれた推論的思考を活用することで,型リスト全体の「アンサンブルプレイ」生成を開発する。
  論文  参考訳（メタデータ） (2024-11-05T07:12:36Z)
• Unlocking Anticipatory Text Generation: A Constrained Approach for Large Language Models Decoding [75.06872859716049]
  大規模言語モデル(LLM)は、テキスト生成の強力な能力を示している。 毒性や幻覚などの望ましくない行動が現れることがある。 将来制約付き生成問題としてテキスト生成の形式化を提案する。
  論文  参考訳（メタデータ） (2023-12-11T06:35:33Z)
• Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
  本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。 本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。 その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-25T03:58:49Z)
• Towards Accurate Translation via Semantically Appropriate Application of Lexical Constraints [0.0]
  我々は,LNMT研究の現在評価過程にある2つの重要かつ未研究の問題に焦点をあてる。 モデルは、トレーニング中に"ホモグラフ"や"見えない"といった難しい語彙制約に対処する必要があります。 PLUMCOTは、事前学習された言語モデルから、目に見えない語彙制約に関する情報を文脈的にリッチに統合する。 また、HOLLYは、モデルが「ホログラフィック」および「見えない」語彙制約に対処する能力を評価するための評価ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-21T08:08:15Z)
• Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection [62.071938098215085]
  我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。 生成したテキストの意味的正しさを高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-19T23:23:40Z)
• NeuroLogic Decoding: (Un)supervised Neural Text Generation with Predicate Logic Constraints [75.66980495245926]
  条件付きテキスト生成は、しばしば語彙的な制約を必要とする。 我々は、ニューラルネットワークモデル -- 教師付きか否かに関わらず -- がフロートテキストを生成することを可能にする、シンプルで効果的なアルゴリズムであるNeuroLogic Decodingを提案する。 この結果から,制御可能な微粒化生成のための大規模ニューラルネットワークの限界と,推論時間アルゴリズムの約束が示唆された。
  論文  参考訳（メタデータ） (2020-10-24T11:55:22Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• ColdGANs: Taming Language GANs with Cautious Sampling Strategies [29.943949944682196]
  GAN(Generative Adversarial Networks)は制約を緩和するが、テキストの離散性によって言語生成への応用が妨げられている。 古典的なサンプリングが不安定なトレーニングにどのように影響するかを示す。 我々は,サンプルを分散モードに近づけることで,よりスムーズな学習ダイナミックスを実現するGANフレームワークにおいて,代替的な探索戦略を検討することを提案する。 我々の知る限りでは、提案言語 GAN は MLE と好意的に比較され、3つの生成タスクにおける最先端技術の改善が得られた。
  論文  参考訳（メタデータ） (2020-06-08T14:48:14Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。