Fugu-MT 論文翻訳(概要): Posterior Control of Blackbox Generation

論文の概要: Posterior Control of Blackbox Generation

arxiv url: http://arxiv.org/abs/2005.04560v1
Date: Sun, 10 May 2020 03:22:45 GMT
ステータス: 処理完了
システム内更新日: 2022-12-05 01:20:27.581398
Title: Posterior Control of Blackbox Generation
Title（参考訳）: ブラックボックス生成の後方制御
Authors: Xiang Lisa Li and Alexander M. Rush
Abstract要約: 我々は、構造化潜在変数アプローチにより学習した離散制御状態を持つニューラルジェネレーションモデルの拡張を検討する。この手法は標準ベンチマークよりも改善され、きめ細かい制御も可能である。
参考スコア（独自算出の注目度）: 126.33511630879713
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Text generation often requires high-precision output that obeys task-specific rules. This fine-grained control is difficult to enforce with off-the-shelf deep learning models. In this work, we consider augmenting neural generation models with discrete control states learned through a structured latent-variable approach. Under this formulation, task-specific knowledge can be encoded through a range of rich, posterior constraints that are effectively trained into the model. This approach allows users to ground internal model decisions based on prior knowledge, without sacrificing the representational power of neural generative models. Experiments consider applications of this approach for text generation. We find that this method improves over standard benchmarks, while also providing fine-grained control.
Abstract（参考訳）: テキスト生成は、しばしばタスク固有のルールに従う高精度な出力を必要とする。このきめ細かい制御は、既成のディープラーニングモデルで実施することは難しい。本研究では、構造化潜在変数アプローチにより学習した離散制御状態を持つニューラルジェネレーションモデルについて検討する。この定式化の下では、タスク固有の知識は、モデルに効果的に訓練されたリッチで後続の制約を通してエンコードすることができる。このアプローチにより、ユーザーは神経生成モデルの表現力を犠牲にすることなく、事前の知識に基づいて内部モデル決定を基礎付けることができる。実験は、このアプローチのテキスト生成への応用を検討する。この手法は標準ベンチマークよりも改善され、きめ細かい制御も可能である。

関連論文リスト

Plug-and-Play Controllable Generation for Discrete Masked Models [27.416952690340903]
本稿では、離散データ制御可能な生成モデリングのための離散マスクモデルについて述べる。本稿では,条件付きスコアのトレーニングを回避した重要サンプリングに基づく新しいプラグアンドプレイフレームワークを提案する。本フレームワークは,制御基準の選択に非依存であり,勾配情報を必要としないため,後方サンプリングやベイズ逆問題,制約生成などのタスクに適している。
論文参考訳（メタデータ） (2024-10-03T02:00:40Z)
disco: a toolkit for Distributional Control of Generative Models [4.662591864499645]
私たちはdiscoというオープンソースのPythonライブラリを紹介します。その可能性にもかかわらず、これらのテクニックが広く採用されることは、複雑で非接続なコードに適応することの難しさによって妨げられている。
論文参考訳（メタデータ） (2023-03-08T18:58:52Z)
Controllable Text Generation with Neurally-Decomposed Oracle [91.18959622763055]
我々はNeurAlly-Decomposed Oracle (NADO) を用いた自動回帰生成モデルを制御するフレームワークを提案する。制御可能な生成のためのベースモデルにトークンレベルのガイダンスを組み込むためのクローズドフォーム最適解を提案する。
論文参考訳（メタデータ） (2022-05-27T20:17:53Z)
Deep Latent-Variable Models for Text Generation [7.119436003155924]
ディープニューラルネットワークベースのエンドツーエンドアーキテクチャが広く採用されている。エンドツーエンドのアプローチは、以前は複雑な手作りのルールで設計されていたすべてのサブモジュールを、全体的なエンコード・デコードアーキテクチャに融合させる。この論文は、テキスト生成のための標準エンコーダデコーダモデルよりも、潜伏変数の深いモデルがいかに改善できるかを示す。
論文参考訳（メタデータ） (2022-03-03T23:06:39Z)
Is Disentanglement enough? On Latent Representations for Controllable Music Generation [78.8942067357231]
強い生成デコーダが存在しない場合、アンタングル化は必ずしも制御性を意味するものではない。 VAEデコーダに対する潜伏空間の構造は、異なる属性を操作するための生成モデルの能力を高める上で重要な役割を果たす。
論文参考訳（メタデータ） (2021-08-01T18:37:43Z)
Neural Rule-Execution Tracking Machine For Transformer-Based Text Generation [43.71069101841354]
S2S(Sequence-to-Sequence)ニューラルテキスト生成モデルは、様々な自然言語生成タスクにおいて魅力的なパフォーマンスを示した。しかしながら、これらのモデルのブラックボックスの性質は、特定のルールを実行する必要があるタスクにおけるアプリケーションを制限する。本稿では,複数のルールを同時に活用するために,トランスフォーマベースジェネレータを組み込んだニューラルルール実行追跡装置を提案する。
論文参考訳（メタデータ） (2021-07-27T20:41:05Z)
Zero-Shot Controlled Generation with Encoder-Decoder Transformers [8.506451605253517]
ゼロショットでエンコーダ・デコーダ変換器に基づくNLGモデルを制御するための新しい手法を提案する。これらのNLGモデルがこのような操作に対して堅牢であるだけでなく、その動作が世代性能に影響を与えることなく制御可能であることを示す。
論文参考訳（メタデータ） (2021-06-11T14:07:19Z)
NeuroLogic Decoding: (Un)supervised Neural Text Generation with Predicate Logic Constraints [75.66980495245926]
条件付きテキスト生成は、しばしば語彙的な制約を必要とする。我々は、ニューラルネットワークモデル -- 教師付きか否かに関わらず -- がフロートテキストを生成することを可能にする、シンプルで効果的なアルゴリズムであるNeuroLogic Decodingを提案する。この結果から,制御可能な微粒化生成のための大規模ニューラルネットワークの限界と,推論時間アルゴリズムの約束が示唆された。
論文参考訳（メタデータ） (2020-10-24T11:55:22Z)
Rewriting a Deep Generative Model [56.91974064348137]
我々は,深層生成モデルによって符号化された特定の規則の操作という,新たな問題設定を導入する。本稿では,ディープネットワークの層を線形連想メモリとして操作することで,所望のルールを変更する定式化を提案する。本稿では,生成モデルのルールを対話的に変更し,望ましい効果を得られるユーザインタフェースを提案する。
論文参考訳（メタデータ） (2020-07-30T17:58:16Z)
A Controllable Model of Grounded Response Generation [122.7121624884747]
現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
論文参考訳（メタデータ） (2020-05-01T21:22:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。