論文の概要: Neural Rule-Execution Tracking Machine For Transformer-Based Text Generation

• arxiv url: http://arxiv.org/abs/2107.13077v1
• Date: Tue, 27 Jul 2021 20:41:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-30 00:52:41.065867
• Title: Neural Rule-Execution Tracking Machine For Transformer-Based Text Generation
• Title（参考訳）: 変圧器に基づくテキスト生成のためのニューラルルール実行追跡マシン
• Authors: Yufei Wang, Can Xu, Huang Hu, Chongyang Tao, Stephen Wan, Mark Dras, Mark Johnson, Daxin Jiang
• Abstract要約: S2S(Sequence-to-Sequence)ニューラルテキスト生成モデルは、様々な自然言語生成タスクにおいて魅力的なパフォーマンスを示した。 しかしながら、これらのモデルのブラックボックスの性質は、特定のルールを実行する必要があるタスクにおけるアプリケーションを制限する。 本稿では,複数のルールを同時に活用するために,トランスフォーマベースジェネレータを組み込んだニューラルルール実行追跡装置を提案する。
• 参考スコア（独自算出の注目度）: 43.71069101841354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequence-to-Sequence (S2S) neural text generation models, especially the pre-trained ones (e.g., BART and T5), have exhibited compelling performance on various natural language generation tasks. However, the black-box nature of these models limits their application in tasks where specific rules (e.g., controllable constraints, prior knowledge) need to be executed. Previous works either design specific model structure (e.g., Copy Mechanism corresponding to the rule "the generated output should include certain words in the source input") or implement specialized inference algorithm (e.g., Constrained Beam Search) to execute particular rules through the text generation. These methods require careful design case-by-case and are difficult to support multiple rules concurrently. In this paper, we propose a novel module named Neural Rule-Execution Tracking Machine that can be equipped into various transformer-based generators to leverage multiple rules simultaneously to guide the neural generation model for superior generation performance in a unified and scalable way. Extensive experimental results on several benchmarks verify the effectiveness of our proposed model in both controllable and general text generation.
• Abstract（参考訳）: S2S(Sequence-to-Sequence)ニューラルテキスト生成モデル、特に訓練済みのテキスト生成モデル(BARTやT5など)は、様々な自然言語生成タスクにおいて魅力的なパフォーマンスを示している。 しかしながら、これらのモデルのブラックボックスの性質は、特定のルール(例えば、制御可能な制約、事前知識)を実行する必要があるタスクにおけるアプリケーションを制限する。 以前の作業では、特定のモデル構造(例えば、"生成した出力はソース入力に特定の単語を含むべきである"というルールに対応するコピーメカニズム)を設計するか、テキスト生成を通じて特定のルールを実行するための特別な推論アルゴリズム(例えば、制約されたビームサーチ)を実装していた。 これらの手法には設計ケースバイケースが必要で、複数のルールを同時にサポートするのは難しい。 本稿では,複数のルールを同時に活用するために,様々なトランスフォーマレータに組み込むことが可能な,ニューラルルール実行追跡マシンという新しいモジュールを提案する。 いくつかのベンチマークにおける広範囲な実験結果から,本モデルの有効性を確認した。

関連論文リスト

• Distilling Task-specific Logical Rules from Large Pre-trained Models [24.66436804853525]
  本研究では,大規模な事前学習モデルからタスク固有の論理規則を抽出する新しい枠組みを開発する。 具体的には、初期シードルールを生成するための知識エキスパートとして、最近のプロンプトベースの言語モデルを借りる。 3つのパブリックなエンティティタグ付けベンチマークの実験は、提案フレームワークの有効性を実証している。
  論文  参考訳（メタデータ） (2022-10-06T09:12:18Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• Outline to Story: Fine-grained Controllable Story Generation from Cascaded Events [39.577220559911055]
  長文のきめ細かい制御が可能な生成のためのテストベッドとして,"Outline to Story" (O2S) という新しいタスクを提案する。 次に、最新のキーワード抽出技術で構築された将来のベンチマーク用のデータセットを作成します。
  論文  参考訳（メタデータ） (2021-01-04T08:16:21Z)
• NeuroLogic Decoding: (Un)supervised Neural Text Generation with Predicate Logic Constraints [75.66980495245926]
  条件付きテキスト生成は、しばしば語彙的な制約を必要とする。 我々は、ニューラルネットワークモデル -- 教師付きか否かに関わらず -- がフロートテキストを生成することを可能にする、シンプルで効果的なアルゴリズムであるNeuroLogic Decodingを提案する。 この結果から,制御可能な微粒化生成のための大規模ニューラルネットワークの限界と,推論時間アルゴリズムの約束が示唆された。
  論文  参考訳（メタデータ） (2020-10-24T11:55:22Z)
• I-BERT: Inductive Generalization of Transformer to Arbitrary Context Lengths [2.604653544948958]
  自己注意は、自然言語処理のための最先端のシーケンス・ツー・シーケンスモデルの重要な構成要素として現れてきた。 位置エンコーディングをリカレント層に置き換える双方向トランスであるI-BERTを提案する。
  論文  参考訳（メタデータ） (2020-06-18T00:56:12Z)
• Posterior Control of Blackbox Generation [126.33511630879713]
  我々は、構造化潜在変数アプローチにより学習した離散制御状態を持つニューラルジェネレーションモデルの拡張を検討する。 この手法は標準ベンチマークよりも改善され、きめ細かい制御も可能である。
  論文  参考訳（メタデータ） (2020-05-10T03:22:45Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。