論文の概要: Language Generation via Combinatorial Constraint Satisfaction: A Tree Search Enhanced Monte-Carlo Approach

• arxiv url: http://arxiv.org/abs/2011.12334v2
• Date: Mon, 30 Nov 2020 00:15:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 12:16:54.697985
• Title: Language Generation via Combinatorial Constraint Satisfaction: A Tree Search Enhanced Monte-Carlo Approach
• Title（参考訳）: 組合せ制約満足度による言語生成:木探索によるモンテカルロアプローチ
• Authors: Maosen Zhang, Nan Jiang, Lei Li, and Yexiang Xue
• Abstract要約: 文生成のための制約の指定を可能にするフレームワークを提案する。 本稿では,事前学習した言語モデルに対して,高い確率文を生成する効率的なTSMHを提案する。 このアプローチは非常に柔軟で、タスク固有のトレーニングを必要とせず、効率的な制約満足度解決技術を活用しています。
• 参考スコア（独自算出の注目度）: 24.897552102098324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating natural language under complex constraints is a principled formulation towards controllable text generation. We present a framework to allow specification of combinatorial constraints for sentence generation. We propose TSMH, an efficient method to generate high likelihood sentences with respect to a pre-trained language model while satisfying the constraints. Our approach is highly flexible, requires no task-specific training, and leverages efficient constraint satisfaction solving techniques. To better handle the combinatorial constraints, a tree search algorithm is embedded into the proposal process of the Markov chain Monte Carlo (MCMC) to explore candidates that satisfy more constraints. Compared to existing MCMC approaches, our sampling approach has a better mixing performance. Experiments show that TSMH achieves consistent and significant improvement on multiple language generation tasks.
• Abstract（参考訳）: 複雑な制約の下で自然言語を生成することは、制御可能なテキスト生成への原則的な定式化である。 文生成のための組合せ制約の指定を可能にするフレームワークを提案する。 本稿では,制約を満たしながら事前学習した言語モデルに対して,高い確率文を生成する効率的な手法であるtsmhを提案する。 我々のアプローチは非常に柔軟で、タスク固有のトレーニングを必要とせず、効率的な制約満足度解決技術を活用する。 組合せ制約をよりうまく扱うために、マルコフ連鎖モンテカルロ(mcmc)の提案プロセスに木探索アルゴリズムを組み込んで、より多くの制約を満たす候補を探索する。 既存のMCMC手法と比較して,サンプリング手法の方が混合性能がよい。 実験により、TSMHは複数の言語生成タスクにおいて一貫性と大幅な改善を実現することが示された。

関連論文リスト

• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• Combining Constraint Programming Reasoning with Large Language Model Predictions [44.99833362998488]
  制約プログラミング(CP)と機械学習(ML)は、テキスト生成において課題に直面します。 本稿では,Large Language Model (LLM) をCPに組み込んだ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T13:15:55Z)
• Intertwining CP and NLP: The Generation of Unreasonably Constrained Sentences [49.86129209397701]
  本稿では,この問題を解決するためにConstraints First Frameworkを提案する。 これは、言語特性とより古典的な制約を組み合わせた制約プログラミング手法によって解決される。 このアプローチの有効性は、より退屈な制約付きテキスト生成問題に取り組むことで実証される。
  論文  参考訳（メタデータ） (2024-06-15T17:40:49Z)
• Toward Unified Controllable Text Generation via Regular Expression Instruction [56.68753672187368]
  本稿では,正規表現の利点をフル活用し,多様な制約を一様にモデル化する命令ベース機構を用いた正規表現指導(REI)を提案する。 提案手法では,中規模言語モデルの微調整や,大規模言語モデルでの少数ショット・インコンテクスト学習のみを要し,各種制約の組み合わせに適用した場合のさらなる調整は不要である。
  論文  参考訳（メタデータ） (2023-09-19T09:05:14Z)
• Sequential Monte Carlo Steering of Large Language Models using Probabilistic Programs [46.721838623748816]
  本研究では,大規模言語モデルの出力に対する構文的制約と意味的制約を強制する新しい推論時手法を提案する。 主要なアイデアは、言語生成タスクを離散確率列モデルのクラスにおける後部推論問題として指定することである。 ビームサーチと同様の計算コストのために、SMCは多様なタスクを解決するためにLSMを操ることができる。
  論文  参考訳（メタデータ） (2023-06-05T17:55:05Z)
• Controlled Text Generation with Natural Language Instructions [74.88938055638636]
  InstructCTGは、異なる制約を含む制御されたテキスト生成フレームワークである。 まず、既製のNLPツールと単純な動詞の組み合わせにより、自然文の基本的制約を抽出する。 制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-04-27T15:56:34Z)
• Tractable Control for Autoregressive Language Generation [82.79160918147852]
  本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。 本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。 我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
  論文  参考訳（メタデータ） (2023-04-15T00:19:44Z)
• Constrained Sampling from Language Models via Langevin Dynamics in Embedding Spaces [34.375537557235724]
  本稿では,言語モデルのログ類似度を任意の微分可能な制約と組み合わせて1つのエネルギー関数にサンプリングする手法を提案する。 我々は,テキスト生成タスクのソフトな制約とハードな制約と,有害性回避,感情制御,キーワード誘導生成の競合する結果との組合せに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-05-25T08:09:03Z)
• NeuroLogic A*esque Decoding: Constrained Text Generation with Lookahead Heuristics [73.96837492216204]
  本稿では,将来のコスト見積を組み込んだ復号アルゴリズムであるNeuroLogic A*esqueを提案する。 大規模言語モデルに効率的な効率的なルックアヘッドを開発する。 提案手法は,5世代タスクにおける競合的ベースラインと,テーブル・トゥ・テキスト生成,制約された機械翻訳,キーワード制約付き生成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-12-16T09:22:54Z)
• Generating texts under constraint through discriminator-guided MCTS [1.3750624267664153]
  判別器によって誘導される木探索プロセスとして制約付き世代を定式化する。 差別化器を用いて、LMを微調整するのではなく、この世代を導くことで、より微細かつ動的に制約を適用することができる。 提案手法は,言語モデルを調整することなく,制約付き生成の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-28T09:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。