論文の概要: Intertwining CP and NLP: The Generation of Unreasonably Constrained Sentences

• arxiv url: http://arxiv.org/abs/2406.15473v2
• Date: Fri, 27 Dec 2024 14:56:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:23:40.217415
• Title: Intertwining CP and NLP: The Generation of Unreasonably Constrained Sentences
• Title（参考訳）: Intertwining CP and NLP: The Generation of Unreasonably Constrained文
• Authors: Alexandre Bonlarron, Jean-Charles Régin,
• Abstract要約: CPにおける制約文の生成手法が提案されている(Bonlarron et al, 2023) 本稿では,これらの難解な問題の多くに対処する,より汎用的なアプローチを提案する。 CPベースのアプローチのおかげで、強い制約のある文が生成される。
• 参考スコア（独自算出の注目度）: 49.86129209397701
• License:
• Abstract: Constrained text generation remains a challenging task, particularly when dealing with hard constraints. Traditional NLP approaches prioritize generating meaningful and coherent output. Also, the current state-of-the-art methods often lack the expressiveness and constraint satisfaction capabilities to handle such tasks effectively. Recently, an approach for generating constrained sentences in CP has been proposed in (Bonlarron et al, 2023). This ad-hoc model to solve the sentences generation problem under MNREAD rules proved neithertheless to be computationaly and structuraly unsuitable to deal with other more constrained problems. In this paper, a novel more generic approach is introduced to tackle many of these previously untractable problems, and illustrated here with the quite untractable sentences generation problem following RADNER rules. More precisely, this paper presents the CPTextGen Framework. This framework considers a constrained text generation problem as a discrete combinatorial optimization problem. It is solved by a constraint programming method that combines linguistic properties (e.g., n-grams or language level) with other more classical constraints (e.g., the number of characters, syllables). Eventually, a curation phase allows for selecting the best-generated sentences according to perplexity using an LLM. The effectiveness of this approach is demonstrated by tackling a new, more tediously constrained text generation problem: the iconic RADNER sentences problem. This problem aims to generate sentences respecting a set of quite strict rules defined by their use in vision and clinical research. Thanks to our CP-based approach, many new strongly constrained sentences have been successfully generated. This highlights our approach's potential to handle unreasonably constrained text generation scenarios.
• Abstract（参考訳）: 制約付きテキスト生成は、特に厳しい制約を扱う場合、依然として難しい課題である。 従来のNLPアプローチは、有意義で一貫性のある出力を生成することを優先する。 また、現在の最先端の手法は、そのようなタスクを効果的に処理する表現力や制約満足度を欠いていることが多い。 近年,CPで制約文を生成する手法が提案されている(Bonlarron et al, 2023)。 MNREAD規則の下で文生成問題を解決するこのアドホックモデルは、計算的かつ構造的に他の制約のある問題に対処するのに不適であることが証明された。 本稿では、これらの難解な問題の多くに対処するために、新しいより汎用的なアプローチを導入し、RADNERルールに従って、非常に難解な文生成問題について解説する。 より正確には、CPTextGen Frameworkについて述べる。 このフレームワークは、制約付きテキスト生成問題を離散組合せ最適化問題とみなす。 これは、言語特性(例えば、n-gramや言語レベル)と他の古典的な制約(例えば、文字数、音節数)を組み合わせる制約プログラミング手法によって解決される。 最終的に、キュレーションフェーズは、LSMを使用してパープレキシティに応じてベスト生成文を選択することができる。 このアプローチの有効性は、より退屈な制約付きテキスト生成問題である、象徴的なRADNER文問題に取り組むことで実証される。 この問題は、視覚と臨床研究における使用によって定義された、非常に厳格な規則の集合に関する文を生成することを目的としている。 CPベースのアプローチのおかげで、多くの制約のある文が生成される。 これは、不合理に制約されたテキスト生成シナリオを扱うアプローチの可能性を強調します。

関連論文リスト

• Combining Constraint Programming Reasoning with Large Language Model Predictions [44.99833362998488]
  制約プログラミング(CP)と機械学習(ML)は、テキスト生成において課題に直面します。 本稿では,Large Language Model (LLM) をCPに組み込んだ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T13:15:55Z)
• Constraints First: A New MDD-based Model to Generate Sentences Under Constraints [45.498315114762484]
  本稿では,強い制約のあるテキストを生成するための新しいアプローチを提案する。 制約に対処するためには、よく知られたデータ構造である多値決定図(MDD)を用いる。 私たちは、よく知られた視覚スクリーニングテスト(MNREAD)で通常利用できる数十の文と比較して、何百ものボナファイド候補文を得る。
  論文  参考訳（メタデータ） (2023-09-21T18:29:52Z)
• Toward Unified Controllable Text Generation via Regular Expression Instruction [56.68753672187368]
  本稿では,正規表現の利点をフル活用し,多様な制約を一様にモデル化する命令ベース機構を用いた正規表現指導(REI)を提案する。 提案手法では,中規模言語モデルの微調整や,大規模言語モデルでの少数ショット・インコンテクスト学習のみを要し,各種制約の組み合わせに適用した場合のさらなる調整は不要である。
  論文  参考訳（メタデータ） (2023-09-19T09:05:14Z)
• Controlled Text Generation with Natural Language Instructions [74.88938055638636]
  InstructCTGは、異なる制約を含む制御されたテキスト生成フレームワークである。 まず、既製のNLPツールと単純な動詞の組み合わせにより、自然文の基本的制約を抽出する。 制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-04-27T15:56:34Z)
• Tractable Control for Autoregressive Language Generation [82.79160918147852]
  本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。 本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。 我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
  論文  参考訳（メタデータ） (2023-04-15T00:19:44Z)
• Neighbors Are Not Strangers: Improving Non-Autoregressive Translation under Low-Frequency Lexical Constraints [33.74298014783385]
  本研究は,非自己回帰翻訳(NAT)の効率性に重点を置いている。 繰り返し編集に基づく現在の制約付きNATモデルは、低周波制約をうまく処理しない。 そこで本研究では, モデルとソース側コンテキストとの親和性を両立させることにより, この問題を緩和する, 適応型制約付きトレーニング(ACT)という, 一連の作業のためのプラグインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:57:47Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。