論文の概要: Controllable Text Generation with Neurally-Decomposed Oracle
- arxiv url: http://arxiv.org/abs/2205.14219v1
- Date: Fri, 27 May 2022 20:17:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 16:23:01.555133
- Title: Controllable Text Generation with Neurally-Decomposed Oracle
- Title（参考訳）: ニューラル分解オラクルによる制御可能なテキスト生成
- Authors: Tao Meng, Sidi Lu, Nanyun Peng and Kai-Wei Chang
- Abstract要約: 我々はNeurAlly-Decomposed Oracle (NADO) を用いた自動回帰生成モデルを制御するフレームワークを提案する。
制御可能な生成のためのベースモデルにトークンレベルのガイダンスを組み込むためのクローズドフォーム最適解を提案する。
- 参考スコア（独自算出の注目度）: 91.18959622763055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a general and efficient framework to control auto-regressive
generation models with NeurAlly-Decomposed Oracle (NADO). Given a pre-trained
base language model and a sequence-level boolean oracle function, we propose to
decompose the oracle function into token-level guidance to steer the base model
in text generation. Specifically, the token-level guidance is approximated by a
neural model trained with examples sampled from the base model, demanding no
additional auxiliary labeled data. We present the closed-form optimal solution
to incorporate the token-level guidance into the base model for controllable
generation. We further provide a theoretical analysis of how the approximation
quality of NADO affects the controllable generation results. Experiments
conducted on two applications: (1) text generation with lexical constraints and
(2) machine translation with formality control demonstrate that our framework
efficiently guides the base model towards the given oracle while maintaining
high generation quality.
- Abstract（参考訳）: 我々はNeurAlly-Decomposed Oracle (NADO) を用いた自動回帰生成モデルを制御する汎用的で効率的なフレームワークを提案する。
事前学習されたベース言語モデルとシーケンスレベルのboolean oracle関数が与えられた場合、私たちは、oracle関数をトークンレベルのガイダンスに分解して、テキスト生成のベースモデルを制御することを提案します。
具体的には、トークンレベルのガイダンスは、ベースモデルからサンプルをサンプルとしてトレーニングされたニューラルネットワークによって近似され、追加の補助ラベル付きデータを必要としない。
制御可能な生成のためのベースモデルにトークンレベルのガイダンスを組み込むための閉形式最適解を提案する。
さらに、NADOの近似品質が制御可能な生成結果に与える影響を理論的に分析する。
1) 語彙制約付きテキスト生成と(2) 形式制御付き機械翻訳の2つの応用実験により,本フレームワークは,高次品質を維持しつつ,ベースモデルを与えられたオラクルへ効率的に誘導することを示した。
関連論文リスト
- Controlled Text Generation via Language Model Arithmetic [7.687678490751105]
本稿では,大規模言語モデルの合成とバイアス化のための新しい推論フレームワークであるモデル演算を導入する。
モデル算術により生成したテキストのきめ細かい制御が可能であり, 毒性低減の課題において, 最先端の処理性能に優れることを示す。
論文 参考訳（メタデータ） (2023-11-24T13:41:12Z) - DiNADO: Norm-Disentangled Neurally-Decomposed Oracles for Controlling Language Models [55.06442277395388]
NeurAlly-Decomposed Oracle (NADO)は、大きな言語モデルで制御可能な生成のための強力なアプローチである。
バニラNADOは低確率制御信号の減衰勾配に悩まされる。
本稿では,NADOアルゴリズムの性能向上を図るために,NADOアルゴリズムの改良版であるDiNADOを提案する。
論文 参考訳（メタデータ） (2023-06-20T18:36:52Z) - DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
本稿では,既存のDocREモデルの根本原因について検討する。
本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。
4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
論文 参考訳（メタデータ） (2022-10-28T11:18:10Z) - Plan-then-Generate: Controlled Data-to-Text Generation via Planning [11.127156275580305]
ニューラルデータ-テキストモデルの制御性を改善するために,新しいプラン-then-Generate(PlanGen)フレームワークを提案する。
本モデルでは,生成した出力の文内構造と文間構造の両方を制御できる。
論文 参考訳（メタデータ） (2021-08-31T10:53:32Z) - Few-Shot Table-to-Text Generation with Prototype Memory [14.69889589370148]
本稿では,プロトタイプ・ツー・ジェネレーション (P2G) という,プロトタイプ・トゥ・ジェネレーション(Prototype-to-Generate, P2G) を用いたテーブル・トゥ・テキスト生成手法を提案する。
提案フレームワークは、IRシステムと新しいプロトタイプセレクタによって共同で選択された、検索されたプロトタイプを利用する。
3つの最先端モデルを用いた3つのベンチマークデータセットの実験結果から,提案手法がモデル性能を著しく向上することが示された。
論文 参考訳（メタデータ） (2021-08-27T22:16:30Z) - AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。
提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。
実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-07-15T16:46:01Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳（メタデータ） (2020-07-11T19:44:09Z) - Posterior Control of Blackbox Generation [126.33511630879713]
我々は、構造化潜在変数アプローチにより学習した離散制御状態を持つニューラルジェネレーションモデルの拡張を検討する。
この手法は標準ベンチマークよりも改善され、きめ細かい制御も可能である。
論文 参考訳（メタデータ） (2020-05-10T03:22:45Z) - Abstractive Text Summarization based on Language Model Conditioning and
Locality Modeling [4.525267347429154]
BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。
さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。
我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
論文 参考訳（メタデータ） (2020-03-29T14:00:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。