論文の概要: Language Generation via Combinatorial Constraint Satisfaction: A Tree
Search Enhanced Monte-Carlo Approach
- arxiv url: http://arxiv.org/abs/2011.12334v2
- Date: Mon, 30 Nov 2020 00:15:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 12:16:54.697985
- Title: Language Generation via Combinatorial Constraint Satisfaction: A Tree
Search Enhanced Monte-Carlo Approach
- Title(参考訳): 組合せ制約満足度による言語生成:木探索によるモンテカルロアプローチ
- Authors: Maosen Zhang, Nan Jiang, Lei Li, and Yexiang Xue
- Abstract要約: 文生成のための制約の指定を可能にするフレームワークを提案する。
本稿では,事前学習した言語モデルに対して,高い確率文を生成する効率的なTSMHを提案する。
このアプローチは非常に柔軟で、タスク固有のトレーニングを必要とせず、効率的な制約満足度解決技術を活用しています。
- 参考スコア(独自算出の注目度): 24.897552102098324
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating natural language under complex constraints is a principled
formulation towards controllable text generation. We present a framework to
allow specification of combinatorial constraints for sentence generation. We
propose TSMH, an efficient method to generate high likelihood sentences with
respect to a pre-trained language model while satisfying the constraints. Our
approach is highly flexible, requires no task-specific training, and leverages
efficient constraint satisfaction solving techniques. To better handle the
combinatorial constraints, a tree search algorithm is embedded into the
proposal process of the Markov chain Monte Carlo (MCMC) to explore candidates
that satisfy more constraints. Compared to existing MCMC approaches, our
sampling approach has a better mixing performance. Experiments show that TSMH
achieves consistent and significant improvement on multiple language generation
tasks.
- Abstract(参考訳): 複雑な制約の下で自然言語を生成することは、制御可能なテキスト生成への原則的な定式化である。
文生成のための組合せ制約の指定を可能にするフレームワークを提案する。
本稿では,制約を満たしながら事前学習した言語モデルに対して,高い確率文を生成する効率的な手法であるtsmhを提案する。
我々のアプローチは非常に柔軟で、タスク固有のトレーニングを必要とせず、効率的な制約満足度解決技術を活用する。
組合せ制約をよりうまく扱うために、マルコフ連鎖モンテカルロ(mcmc)の提案プロセスに木探索アルゴリズムを組み込んで、より多くの制約を満たす候補を探索する。
既存のMCMC手法と比較して,サンプリング手法の方が混合性能がよい。
実験により、TSMHは複数の言語生成タスクにおいて一貫性と大幅な改善を実現することが示された。
関連論文リスト
- Toward Unified Controllable Text Generation via Regular Expression
Instruction [56.68753672187368]
本稿では,正規表現の利点をフル活用し,多様な制約を一様にモデル化する命令ベース機構を用いた正規表現指導(REI)を提案する。
提案手法では,中規模言語モデルの微調整や,大規模言語モデルでの少数ショット・インコンテクスト学習のみを要し,各種制約の組み合わせに適用した場合のさらなる調整は不要である。
論文 参考訳(メタデータ) (2023-09-19T09:05:14Z) - Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context
Reasoning with Language Models [58.41943058963672]
我々はRecursion of Thought (RoT)と呼ばれる新しい推論フレームワークを提案する。
RoTはいくつかの特別なトークンを導入し、モデルが出力してコンテキスト関連の操作をトリガーする。
GPT-3を含む複数のアーキテクチャの実験により、RoTは問題を解くためにLMの推論能力を劇的に改善した。
論文 参考訳(メタデータ) (2023-06-12T06:34:16Z) - Sequential Monte Carlo Steering of Large Language Models using
Probabilistic Programs [46.721838623748816]
本研究では,大規模言語モデルの出力に対する構文的制約と意味的制約を強制する新しい推論時手法を提案する。
主要なアイデアは、言語生成タスクを離散確率列モデルのクラスにおける後部推論問題として指定することである。
ビームサーチと同様の計算コストのために、SMCは多様なタスクを解決するためにLSMを操ることができる。
論文 参考訳(メタデータ) (2023-06-05T17:55:05Z) - Controlled Text Generation with Natural Language Instructions [74.88938055638636]
InstructCTGは、異なる制約を含む制御されたテキスト生成フレームワークである。
まず、既製のNLPツールと単純な動詞の組み合わせにより、自然文の基本的制約を抽出する。
制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
論文 参考訳(メタデータ) (2023-04-27T15:56:34Z) - Tractable Control for Autoregressive Language Generation [82.79160918147852]
本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。
本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。
我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
論文 参考訳(メタデータ) (2023-04-15T00:19:44Z) - Constrained Sampling from Language Models via Langevin Dynamics in
Embedding Spaces [34.375537557235724]
本稿では,言語モデルのログ類似度を任意の微分可能な制約と組み合わせて1つのエネルギー関数にサンプリングする手法を提案する。
我々は,テキスト生成タスクのソフトな制約とハードな制約と,有害性回避,感情制御,キーワード誘導生成の競合する結果との組合せに対するアプローチを評価した。
論文 参考訳(メタデータ) (2022-05-25T08:09:03Z) - NeuroLogic A*esque Decoding: Constrained Text Generation with Lookahead
Heuristics [73.96837492216204]
本稿では,将来のコスト見積を組み込んだ復号アルゴリズムであるNeuroLogic A*esqueを提案する。
大規模言語モデルに効率的な効率的なルックアヘッドを開発する。
提案手法は,5世代タスクにおける競合的ベースラインと,テーブル・トゥ・テキスト生成,制約された機械翻訳,キーワード制約付き生成における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-12-16T09:22:54Z) - Generating texts under constraint through discriminator-guided MCTS [1.3750624267664153]
判別器によって誘導される木探索プロセスとして制約付き世代を定式化する。
差別化器を用いて、LMを微調整するのではなく、この世代を導くことで、より微細かつ動的に制約を適用することができる。
提案手法は,言語モデルを調整することなく,制約付き生成の結果が得られることを示す。
論文 参考訳(メタデータ) (2021-09-28T09:29:15Z) - Controlled Text Generation as Continuous Optimization with Multiple
Constraints [23.71027518888138]
事前学習したモデルから制御可能な推論を行うためのフレキシブルでモジュラーなアルゴリズムを提案する。
所望のテキストを生成するために,ラグランジアン乗算器と勾配差に基づく手法を用いる。
我々は,複数の文レベル属性を用いた制御可能な機械翻訳とスタイル変換のアプローチを評価する。
論文 参考訳(メタデータ) (2021-08-04T05:25:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。