論文の概要: NeuroLogic Decoding: (Un)supervised Neural Text Generation with Predicate Logic Constraints

• arxiv url: http://arxiv.org/abs/2010.12884v2
• Date: Tue, 20 Apr 2021 18:59:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 13:10:44.100852
• Title: NeuroLogic Decoding: (Un)supervised Neural Text Generation with Predicate Logic Constraints
• Title（参考訳）: 神経論理復号:述語論理制約を用いた(Un)教師付きニューラルテキスト生成
• Authors: Ximing Lu, Peter West, Rowan Zellers, Ronan Le Bras, Chandra Bhagavatula, Yejin Choi
• Abstract要約: 条件付きテキスト生成は、しばしば語彙的な制約を必要とする。 我々は、ニューラルネットワークモデル -- 教師付きか否かに関わらず -- がフロートテキストを生成することを可能にする、シンプルで効果的なアルゴリズムであるNeuroLogic Decodingを提案する。 この結果から,制御可能な微粒化生成のための大規模ニューラルネットワークの限界と,推論時間アルゴリズムの約束が示唆された。
• 参考スコア（独自算出の注目度）: 75.66980495245926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conditional text generation often requires lexical constraints, i.e., which words should or shouldn't be included in the output text. While the dominant recipe for conditional text generation has been large-scale pretrained language models that are finetuned on the task-specific training data, such models do not learn to follow the underlying constraints reliably, even when supervised with large amounts of task-specific examples. We propose NeuroLogic Decoding, a simple yet effective algorithm that enables neural language models -- supervised or not -- to generate fluent text while satisfying complex lexical constraints. Our approach is powerful yet efficient. It handles any set of lexical constraints that is expressible under predicate logic, while its asymptotic runtime is equivalent to conventional beam search. Empirical results on four benchmarks show that NeuroLogic Decoding outperforms previous approaches, including algorithms that handle a subset of our constraints. Moreover, we find that unsupervised models with NeuroLogic Decoding often outperform supervised models with conventional decoding, even when the latter is based on considerably larger networks. Our results suggest the limit of large-scale neural networks for fine-grained controllable generation and the promise of inference-time algorithms.
• Abstract（参考訳）: 条件付きテキスト生成は、しばしば語彙的な制約を必要とする。 条件付きテキスト生成の主要なレシピは、タスク固有のトレーニングデータに基づいて微調整された大規模な事前訓練言語モデルであるが、そのようなモデルは、タスク固有の大量の例を監督しても、基礎となる制約を確実に従うことを学ばない。 我々は,複雑な語彙制約を満たしながら,精巧なテキストを生成するニューラルネットワークモデルを実現する,単純かつ効果的なアルゴリズムを提案する。 我々のアプローチは強力だが効率的だ。 述語論理の下で表現可能な語彙制約の組を処理し、漸近ランタイムは従来のビーム探索と等価である。 4つのベンチマークによる実証的な結果から、NeuroLogic Decodingは、制約のサブセットを処理するアルゴリズムを含む、従来のアプローチよりも優れていた。 さらに,ニューロロジック復号法を用いた教師なしモデルは,比較的大きなネットワークをベースとした場合であっても,従来の復号法により教師付きモデルよりも優れていることが判明した。 その結果,細粒度制御可能な生成のための大規模ニューラルネットワークの限界と推論時間アルゴリズムの期待が示唆された。

関連論文リスト

• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Constrained Sampling from Language Models via Langevin Dynamics in Embedding Spaces [34.375537557235724]
  本稿では,言語モデルのログ類似度を任意の微分可能な制約と組み合わせて1つのエネルギー関数にサンプリングする手法を提案する。 我々は,テキスト生成タスクのソフトな制約とハードな制約と,有害性回避,感情制御,キーワード誘導生成の競合する結果との組合せに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-05-25T08:09:03Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• NeuroLogic A*esque Decoding: Constrained Text Generation with Lookahead Heuristics [73.96837492216204]
  本稿では,将来のコスト見積を組み込んだ復号アルゴリズムであるNeuroLogic A*esqueを提案する。 大規模言語モデルに効率的な効率的なルックアヘッドを開発する。 提案手法は,5世代タスクにおける競合的ベースラインと,テーブル・トゥ・テキスト生成,制約された機械翻訳,キーワード制約付き生成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-12-16T09:22:54Z)
• Neural Rule-Execution Tracking Machine For Transformer-Based Text Generation [43.71069101841354]
  S2S(Sequence-to-Sequence)ニューラルテキスト生成モデルは、様々な自然言語生成タスクにおいて魅力的なパフォーマンスを示した。 しかしながら、これらのモデルのブラックボックスの性質は、特定のルールを実行する必要があるタスクにおけるアプリケーションを制限する。 本稿では,複数のルールを同時に活用するために,トランスフォーマベースジェネレータを組み込んだニューラルルール実行追跡装置を提案する。
  論文  参考訳（メタデータ） (2021-07-27T20:41:05Z)
• Neuro-Symbolic Constraint Programming for Structured Prediction [32.427665902031436]
  ニューラルネットワークを制約付き構造予測器に注入する手法であるNesterを提案する。 Nesterは2つのコンポーネントの特徴を活用している。ニューラルネットワークは低レベルのデータから複雑な表現を学習する。 手書き式認識の実証的評価は、Nesterがニューラルネットワークと制約構造予測器の両方よりも優れたパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-03-31T17:31:33Z)
• Posterior Control of Blackbox Generation [126.33511630879713]
  我々は、構造化潜在変数アプローチにより学習した離散制御状態を持つニューラルジェネレーションモデルの拡張を検討する。 この手法は標準ベンチマークよりも改善され、きめ細かい制御も可能である。
  論文  参考訳（メタデータ） (2020-05-10T03:22:45Z)
• Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
  本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。 提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。 新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
  論文  参考訳（メタデータ） (2020-04-22T06:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。