論文の概要: Posterior Control of Blackbox Generation
- arxiv url: http://arxiv.org/abs/2005.04560v1
- Date: Sun, 10 May 2020 03:22:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 01:20:27.581398
- Title: Posterior Control of Blackbox Generation
- Title(参考訳): ブラックボックス生成の後方制御
- Authors: Xiang Lisa Li and Alexander M. Rush
- Abstract要約: 我々は、構造化潜在変数アプローチにより学習した離散制御状態を持つニューラルジェネレーションモデルの拡張を検討する。
この手法は標準ベンチマークよりも改善され、きめ細かい制御も可能である。
- 参考スコア(独自算出の注目度): 126.33511630879713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text generation often requires high-precision output that obeys task-specific
rules. This fine-grained control is difficult to enforce with off-the-shelf
deep learning models. In this work, we consider augmenting neural generation
models with discrete control states learned through a structured
latent-variable approach. Under this formulation, task-specific knowledge can
be encoded through a range of rich, posterior constraints that are effectively
trained into the model. This approach allows users to ground internal model
decisions based on prior knowledge, without sacrificing the representational
power of neural generative models. Experiments consider applications of this
approach for text generation. We find that this method improves over standard
benchmarks, while also providing fine-grained control.
- Abstract(参考訳): テキスト生成は、しばしばタスク固有のルールに従う高精度な出力を必要とする。
このきめ細かい制御は、既成のディープラーニングモデルで実施することは難しい。
本研究では、構造化潜在変数アプローチにより学習した離散制御状態を持つニューラルジェネレーションモデルについて検討する。
この定式化の下では、タスク固有の知識は、モデルに効果的に訓練されたリッチで後続の制約を通してエンコードすることができる。
このアプローチにより、ユーザーは神経生成モデルの表現力を犠牲にすることなく、事前の知識に基づいて内部モデル決定を基礎付けることができる。
実験は、このアプローチのテキスト生成への応用を検討する。
この手法は標準ベンチマークよりも改善され、きめ細かい制御も可能である。
関連論文リスト
- A minimax optimal control approach for robust neural ODEs [49.1574468325115]
我々は、頑健な制御の観点から、ニューラルなODEの敵対的訓練に対処する。
我々はポントリャーギンの最大原理の形で一階最適条件を導出する。
論文 参考訳(メタデータ) (2023-10-26T17:07:43Z) - Data Redaction from Conditional Generative Models [38.479256505860825]
我々は、すでに訓練済みの条件生成モデルをポスト編集して、高い確率で、望ましくない内容をもたらすような条件を再現する方法について研究する。
我々は,テキスト・ツー・イメージ・モデルにおけるリアクション・プロンプトと音声のリアクション・プロンプトについて実験を行った。
論文 参考訳(メタデータ) (2023-05-18T23:58:53Z) - disco: a toolkit for Distributional Control of Generative Models [4.662591864499645]
私たちはdiscoというオープンソースのPythonライブラリを紹介します。
その可能性にもかかわらず、これらのテクニックが広く採用されることは、複雑で非接続なコードに適応することの難しさによって妨げられている。
論文 参考訳(メタデータ) (2023-03-08T18:58:52Z) - Controllable Text Generation with Neurally-Decomposed Oracle [91.18959622763055]
我々はNeurAlly-Decomposed Oracle (NADO) を用いた自動回帰生成モデルを制御するフレームワークを提案する。
制御可能な生成のためのベースモデルにトークンレベルのガイダンスを組み込むためのクローズドフォーム最適解を提案する。
論文 参考訳(メタデータ) (2022-05-27T20:17:53Z) - Deep Latent-Variable Models for Text Generation [7.119436003155924]
ディープニューラルネットワークベースのエンドツーエンドアーキテクチャが広く採用されている。
エンドツーエンドのアプローチは、以前は複雑な手作りのルールで設計されていたすべてのサブモジュールを、全体的なエンコード・デコードアーキテクチャに融合させる。
この論文は、テキスト生成のための標準エンコーダデコーダモデルよりも、潜伏変数の深いモデルがいかに改善できるかを示す。
論文 参考訳(メタデータ) (2022-03-03T23:06:39Z) - Neural Rule-Execution Tracking Machine For Transformer-Based Text
Generation [43.71069101841354]
S2S(Sequence-to-Sequence)ニューラルテキスト生成モデルは、様々な自然言語生成タスクにおいて魅力的なパフォーマンスを示した。
しかしながら、これらのモデルのブラックボックスの性質は、特定のルールを実行する必要があるタスクにおけるアプリケーションを制限する。
本稿では,複数のルールを同時に活用するために,トランスフォーマベースジェネレータを組み込んだニューラルルール実行追跡装置を提案する。
論文 参考訳(メタデータ) (2021-07-27T20:41:05Z) - Zero-Shot Controlled Generation with Encoder-Decoder Transformers [8.506451605253517]
ゼロショットでエンコーダ・デコーダ変換器に基づくNLGモデルを制御するための新しい手法を提案する。
これらのNLGモデルがこのような操作に対して堅牢であるだけでなく、その動作が世代性能に影響を与えることなく制御可能であることを示す。
論文 参考訳(メタデータ) (2021-06-11T14:07:19Z) - NeuroLogic Decoding: (Un)supervised Neural Text Generation with
Predicate Logic Constraints [75.66980495245926]
条件付きテキスト生成は、しばしば語彙的な制約を必要とする。
我々は、ニューラルネットワークモデル -- 教師付きか否かに関わらず -- がフロートテキストを生成することを可能にする、シンプルで効果的なアルゴリズムであるNeuroLogic Decodingを提案する。
この結果から,制御可能な微粒化生成のための大規模ニューラルネットワークの限界と,推論時間アルゴリズムの約束が示唆された。
論文 参考訳(メタデータ) (2020-10-24T11:55:22Z) - Rewriting a Deep Generative Model [56.91974064348137]
我々は,深層生成モデルによって符号化された特定の規則の操作という,新たな問題設定を導入する。
本稿では,ディープネットワークの層を線形連想メモリとして操作することで,所望のルールを変更する定式化を提案する。
本稿では,生成モデルのルールを対話的に変更し,望ましい効果を得られるユーザインタフェースを提案する。
論文 参考訳(メタデータ) (2020-07-30T17:58:16Z) - A Controllable Model of Grounded Response Generation [122.7121624884747]
現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。
我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。
このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2020-05-01T21:22:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。