論文の概要: PCFG-based Natural Language Interface Improves Generalization for Controlled Text Generation

• arxiv url: http://arxiv.org/abs/2210.07431v1
• Date: Fri, 14 Oct 2022 00:20:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 15:14:59.575496
• Title: PCFG-based Natural Language Interface Improves Generalization for Controlled Text Generation
• Title（参考訳）: PCFGベースの自然言語インタフェースによるテキスト生成の一般化
• Authors: Jingyu Zhang, James Glass, Tianxing He
• Abstract要約: そこで我々は,制御属性を自然言語コマンドに埋め込むためにPCFGを構築する自然言語インタフェースを提案する。 実験では、モデルの一般化能力をテストするための調整されたセットアップを設計する。
• 参考スコア（独自算出の注目度）: 16.726345300588353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing work on controlled text generation (CTG) assumes a control interface of categorical attributes. In this work, we propose a natural language (NL) interface, where we craft a PCFG to embed the control attributes into natural language commands, and propose variants of existing CTG models that take commands as input. In our experiments, we design tailored setups to test model's generalization abilities. We find our PCFG-based command generation approach is effective for handling unseen commands compared to fix-set templates; our proposed NL models can effectively generalize to unseen attributes, a new ability enabled by the NL interface, as well as unseen attribute combinations. Interestingly, we discover that the simple conditional generation approach, enhanced with our proposed NL interface, is a strong baseline in those challenging settings.
• Abstract（参考訳）: 制御テキスト生成(ctg)に関する既存の作業は、カテゴリ属性の制御インターフェースを前提としている。 本研究では,自然言語コマンドに制御属性を組み込むためにpcfgを製作する自然言語 (nl) インタフェースを提案し,コマンドを入力とする既存のctgモデルの変種を提案する。 実験では、モデルの一般化能力をテストするための調整されたセットアップを設計する。 提案したNLモデルは,NLインタフェースによって実現された新しい機能,および未知の属性の組み合わせを効果的に一般化することができる。 興味深いことに、提案したNLインタフェースで強化された単純な条件生成アプローチは、これらの困難な設定において強力なベースラインであることが判明した。

関連論文リスト

• Adaptable Logical Control for Large Language Models [68.27725600175013]
  Ctrl-Gは、推論時にモデル生成のトラクタブルでフレキシブルな制御を容易にする適応可能なフレームワークである。 TULU2-7Bモデルに適用したCtrl-Gは、インタラクティブテキスト編集のタスクにおいて、GPT3.5とGPT4より優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-19T23:47:59Z)
• Harnessing the Plug-and-Play Controller by Prompting [12.705251690623495]
  本稿では,事前学習言語モデル(PLM)を用いたテキスト生成におけるフレキシブル属性制御手法を提案する。 提案手法は、生成過程をPPCで導くことにより、生成したテキストの流布率を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-02-06T17:18:25Z)
• Toward Unified Controllable Text Generation via Regular Expression Instruction [56.68753672187368]
  本稿では,正規表現の利点をフル活用し,多様な制約を一様にモデル化する命令ベース機構を用いた正規表現指導(REI)を提案する。 提案手法では,中規模言語モデルの微調整や,大規模言語モデルでの少数ショット・インコンテクスト学習のみを要し,各種制約の組み合わせに適用した場合のさらなる調整は不要である。
  論文  参考訳（メタデータ） (2023-09-19T09:05:14Z)
• Controlled Text Generation with Natural Language Instructions [74.88938055638636]
  InstructCTGは、異なる制約を含む制御されたテキスト生成フレームワークである。 まず、既製のNLPツールと単純な動詞の組み合わせにより、自然文の基本的制約を抽出する。 制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-04-27T15:56:34Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Mix and Match: Learning-free Controllable Text Generation using Energy Language Models [33.97800741890231]
  制御可能なテキスト生成のためのグローバルスコアベースの代替手段であるMix and Match LMを提案する。 我々は制御可能な生成のタスクをエネルギーベースモデルからのサンプルの描画として解釈する。 我々は、このエネルギーベースモデルからサンプリングするためにメトロポリス・ハスティングスサンプリングスキームを使用する。
  論文  参考訳（メタデータ） (2022-03-24T18:52:09Z)
• Controllable Natural Language Generation with Contrastive Prefixes [120.12778570283956]
  GPT2生成は、自然言語生成を操るために、プレフィックスと呼ばれる小さな属性固有のベクトルのセットを利用する。 単一アスペクト制御のための接頭辞を訓練するための新しい教師なし手法と教師なし手法を提案する。 単一アスペクト制御と多アスペクト制御の両方の実験結果から,提案手法は高い言語的品質を維持しつつ,所望の属性に向かって生成を導くことができることがわかった。
  論文  参考訳（メタデータ） (2022-02-27T00:31:03Z)
• Towards Neural Programming Interfaces [6.88204255655161]
  自然言語生成制御の問題を,事前学習した言語モデルとインタフェースする学習の課題として再演した。 特殊ニューラルネットワークは、事前学習されたモデルの隠れたアクティベーションを操作することにより、事前学習された言語モデルとのインタフェースを学習する。 元のモデルの重みに恒久的な変更は行われず、新しいタスクのためにトレーニング済みのモデルを再利用することができます。
  論文  参考訳（メタデータ） (2020-12-10T21:17:04Z)
• ETC-NLG: End-to-end Topic-Conditioned Natural Language Generation [1.0152838128195467]
  Plug-and-play言語モデル(PPLM)は、予測トークン分布を選択されたトピックに向けて制御するために使用する属性モデルと、大きな事前学習されたジェネレータをペアにすることで、トピック条件の自然言語生成を可能にする。 ETC-NLGは、文書コレクションの創発的なトピックに対して、完全に教師なしのトピック・ツー・エンドのトピック・コンディション・自然言語生成を可能にするためにトピック・モデリング・アノテーションを活用するアプローチである。
  論文  参考訳（メタデータ） (2020-08-25T08:22:38Z)
• Few-shot Natural Language Generation for Task-Oriented Dialog [113.07438787659859]
  FewShotWozは,タスク指向対話システムにおける数ショットの学習設定をシミュレートする最初の NLG ベンチマークである。 我々は, SC-GPTモデルを開発し, その制御可能な生成能力を得るために, 注釈付きNLGコーパスの大規模なセットで事前学習を行った。 FewShotWozとMulti-Domain-WOZデータセットの実験は、提案したSC-GPTが既存の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-02-27T18:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。