論文の概要: Intertwining CP and NLP: The Generation of Unreasonably Constrained Sentences

• arxiv url: http://arxiv.org/abs/2406.15473v1
• Date: Sat, 15 Jun 2024 17:40:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 07:01:19.468009
• Title: Intertwining CP and NLP: The Generation of Unreasonably Constrained Sentences
• Title（参考訳）: Intertwining CP and NLP: The Generation of Unreasonably Constrained文
• Authors: Alexandre Bonlarron, Jean-Charles Régin,
• Abstract要約: 本稿では,この問題を解決するためにConstraints First Frameworkを提案する。 これは、言語特性とより古典的な制約を組み合わせた制約プログラミング手法によって解決される。 このアプローチの有効性は、より退屈な制約付きテキスト生成問題に取り組むことで実証される。
• 参考スコア（独自算出の注目度）: 49.86129209397701
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Constrained text generation remains a challenging task, particularly when dealing with hard constraints. Traditional Natural Language Processing (NLP) approaches prioritize generating meaningful and coherent output. Also, the current state-of-the-art methods often lack the expressiveness and constraint satisfaction capabilities to handle such tasks effectively. This paper presents the Constraints First Framework to remedy this issue. This framework considers a constrained text generation problem as a discrete combinatorial optimization problem. It is solved by a constraint programming method that combines linguistic properties (e.g., n-grams or language level) with other more classical constraints (e.g., the number of characters, syllables, or words). Eventually, a curation phase allows for selecting the best-generated sentences according to perplexity using a large language model. The effectiveness of this approach is demonstrated by tackling a new more tediously constrained text generation problem: the iconic RADNER sentences problem. This problem aims to generate sentences respecting a set of quite strict rules defined by their use in vision and clinical research. Thanks to our CP-based approach, many new strongly constrained sentences have been successfully generated in an automatic manner. This highlights the potential of our approach to handle unreasonably constrained text generation scenarios.
• Abstract（参考訳）: 制約付きテキスト生成は、特に厳しい制約を扱う場合、依然として難しい課題である。 従来の自然言語処理(NLP)アプローチは、有意義で一貫性のある出力を生成することを優先する。 また、現在の最先端の手法は、そのようなタスクを効果的に処理する表現力や制約満足度を欠いていることが多い。 本稿では,この問題を解決するためにConstraints First Frameworkを提案する。 このフレームワークは、制約付きテキスト生成問題を離散組合せ最適化問題とみなす。 これは、言語特性(例えば、n-gramや言語レベル)と他の古典的な制約(例えば、文字数、音節数、単語数)を組み合わせる制約プログラミング手法によって解決される。 最終的に、キュレーションフェーズは、大きな言語モデルを使用して、難易度に応じて最良の生成文を選択することができる。 このアプローチの有効性は、より退屈な制約付きテキスト生成問題である、象徴的なRADNER文問題に取り組むことで実証される。 この問題は、視覚と臨床研究における使用によって定義された、非常に厳格な規則の集合に関する文を生成することを目的としている。 CPに基づくアプローチにより,多くの制約付き文が自動生成されている。 これは、不合理に制約されたテキスト生成シナリオを扱うアプローチの可能性を強調します。

関連論文リスト

• Combining Constraint Programming Reasoning with Large Language Model Predictions [44.99833362998488]
  制約プログラミング(CP)と機械学習(ML)は、テキスト生成において課題に直面します。 本稿では,Large Language Model (LLM) をCPに組み込んだ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T13:15:55Z)
• Toward Unified Controllable Text Generation via Regular Expression Instruction [56.68753672187368]
  本稿では,正規表現の利点をフル活用し,多様な制約を一様にモデル化する命令ベース機構を用いた正規表現指導(REI)を提案する。 提案手法では,中規模言語モデルの微調整や,大規模言語モデルでの少数ショット・インコンテクスト学習のみを要し,各種制約の組み合わせに適用した場合のさらなる調整は不要である。
  論文  参考訳（メタデータ） (2023-09-19T09:05:14Z)
• Controlled Text Generation with Natural Language Instructions [74.88938055638636]
  InstructCTGは、異なる制約を含む制御されたテキスト生成フレームワークである。 まず、既製のNLPツールと単純な動詞の組み合わせにより、自然文の基本的制約を抽出する。 制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-04-27T15:56:34Z)
• Tractable Control for Autoregressive Language Generation [82.79160918147852]
  本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。 本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。 我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
  論文  参考訳（メタデータ） (2023-04-15T00:19:44Z)
• Constrained Sampling from Language Models via Langevin Dynamics in Embedding Spaces [34.375537557235724]
  本稿では,言語モデルのログ類似度を任意の微分可能な制約と組み合わせて1つのエネルギー関数にサンプリングする手法を提案する。 我々は,テキスト生成タスクのソフトな制約とハードな制約と,有害性回避,感情制御,キーワード誘導生成の競合する結果との組合せに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-05-25T08:09:03Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。