論文の概要: Why is constrained neural language generation particularly challenging?
- arxiv url: http://arxiv.org/abs/2206.05395v1
- Date: Sat, 11 Jun 2022 02:07:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 13:35:14.512995
- Title: Why is constrained neural language generation particularly challenging?
- Title（参考訳）: なぜ制約付きニューラルネットワーク生成が特に難しいのか?
- Authors: Cristina Garbacea, Qiaozhu Mei
- Abstract要約: 本稿では、制約付きニューラルネットワーク生成の新たな話題について広範な調査を行う。
我々は条件と制約を区別し、制約付きテキスト生成タスクを提示し、制約付きテキスト生成のための既存の方法と評価指標をレビューする。
我々の目標は、この新興分野の最近の進歩とトレンドを強調し、最も有望な方向性と、制約のあるニューラルネットワーク生成研究の最先端への限界を知らせることである。
- 参考スコア（独自算出の注目度）: 13.62873478165553
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in deep neural language models combined with the capacity of
large scale datasets have accelerated the development of natural language
generation systems that produce fluent and coherent texts (to various degrees
of success) in a multitude of tasks and application contexts. However,
controlling the output of these models for desired user and task needs is still
an open challenge. This is crucial not only to customizing the content and
style of the generated language, but also to their safe and reliable deployment
in the real world. We present an extensive survey on the emerging topic of
constrained neural language generation in which we formally define and
categorize the problems of natural language generation by distinguishing
between conditions and constraints (the latter being testable conditions on the
output text instead of the input), present constrained text generation tasks,
and review existing methods and evaluation metrics for constrained text
generation. Our aim is to highlight recent progress and trends in this emerging
field, informing on the most promising directions and limitations towards
advancing the state-of-the-art of constrained neural language generation
research.
- Abstract（参考訳）: 近年の深層ニューラルネットワークモデルの進歩と大規模データセットの能力が組み合わさって、さまざまなタスクやアプリケーションコンテキストにおいて(さまざまな成功のために)流れる、一貫性のあるテキストを生成する自然言語生成システムの開発が加速されている。
しかし、望ましいユーザとタスクのニーズのためにこれらのモデルの出力を制御することは、まだ未解決の課題である。
これは、生成された言語のコンテンツとスタイルをカスタマイズするだけでなく、現実世界の安全で信頼性の高いデプロイメントにも重要です。
本稿では,制約付きニューラルネットワーク生成の新たな話題について,条件と制約(後者は入力ではなく出力テキスト上でテスト可能な条件)を区別することで,自然言語生成の問題を正式に定義・分類し,制約付きテキスト生成タスクを提示し,制約付きテキスト生成のための既存の方法と評価指標をレビューする。
我々の目標は、この新興分野の最近の進歩とトレンドを強調し、最も有望な方向性と、制約のあるニューラルネットワーク生成研究の最先端への限界を知らせることである。
関連論文リスト
- Unlocking Anticipatory Text Generation: A Constrained Approach for Large Language Models Decoding [75.06872859716049]
大規模言語モデル(LLM)は、テキスト生成の強力な能力を示している。
毒性や幻覚などの望ましくない行動が現れることがある。
将来制約付き生成問題としてテキスト生成の形式化を提案する。
論文 参考訳（メタデータ） (2023-12-11T06:35:33Z) - Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。
本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。
その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
論文 参考訳（メタデータ） (2023-10-25T03:58:49Z) - Controlled Text Generation with Natural Language Instructions [74.88938055638636]
InstructCTGは、異なる制約を含む制御されたテキスト生成フレームワークである。
まず、既製のNLPツールと単純な動詞の組み合わせにより、自然文の基本的制約を抽出する。
制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
論文 参考訳（メタデータ） (2023-04-27T15:56:34Z) - Controllable Text Generation for Open-Domain Creativity and Fairness [36.744208990024575]
言語生成モデルの創造性と公平性を高めるために,制御可能なテキスト生成に関する最近の研究を紹介する。
階層的生成と制約付き復号化を探求し、物語、詩、図形言語を含む創造的な言語生成に適用する。
論文 参考訳（メタデータ） (2022-09-24T22:40:01Z) - Deep Latent-Variable Models for Text Generation [7.119436003155924]
ディープニューラルネットワークベースのエンドツーエンドアーキテクチャが広く採用されている。
エンドツーエンドのアプローチは、以前は複雑な手作りのルールで設計されていたすべてのサブモジュールを、全体的なエンコード・デコードアーキテクチャに融合させる。
この論文は、テキスト生成のための標準エンコーダデコーダモデルよりも、潜伏変数の深いモデルがいかに改善できるかを示す。
論文 参考訳（メタデータ） (2022-03-03T23:06:39Z) - NeuroLogic A*esque Decoding: Constrained Text Generation with Lookahead
Heuristics [73.96837492216204]
本稿では,将来のコスト見積を組み込んだ復号アルゴリズムであるNeuroLogic A*esqueを提案する。
大規模言語モデルに効率的な効率的なルックアヘッドを開発する。
提案手法は,5世代タスクにおける競合的ベースラインと,テーブル・トゥ・テキスト生成,制約された機械翻訳,キーワード制約付き生成における最先端性能を実現する。
論文 参考訳（メタデータ） (2021-12-16T09:22:54Z) - Long Text Generation by Modeling Sentence-Level and Discourse-Level
Coherence [59.51720326054546]
本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。
我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
論文 参考訳（メタデータ） (2021-05-19T07:29:08Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳（メタデータ） (2020-10-14T17:54:42Z) - Neural Language Generation: Formulation, Methods, and Evaluation [13.62873478165553]
ニューラルネットワークに基づく生成モデリングの最近の進歩は、人間とシームレスに会話できるコンピュータシステムの実現への期待を再燃させた。
大規模データセットでトレーニングされた高容量ディープラーニングモデルは、明示的な監視信号の欠如にもかかわらず、データのパターンを学習する非並列的な能力を示している。
これらの生成モデルが生成するテキストの品質を評価する標準的な方法は存在しないため、フィールドの進行に深刻なボトルネックが生じる。
論文 参考訳（メタデータ） (2020-07-31T00:08:28Z) - QURIOUS: Question Generation Pretraining for Text Generation [13.595014409069584]
本稿では,テキスト生成目標に適合する事前学習手法として質問生成を提案する。
本手法で事前訓練したテキスト生成モデルは,入力の本質を理解するのが得意であり,目的タスクに適した言語モデルである。
論文 参考訳（メタデータ） (2020-04-23T08:41:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。