論文の概要: NeuroLogic A*esque Decoding: Constrained Text Generation with Lookahead Heuristics

• arxiv url: http://arxiv.org/abs/2112.08726v1
• Date: Thu, 16 Dec 2021 09:22:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-18 00:23:57.894972
• Title: NeuroLogic A*esque Decoding: Constrained Text Generation with Lookahead Heuristics
• Title（参考訳）: ニューロロジックA*esqueデコーディング:ルックアヘッドヒューリスティックスを用いた制約付きテキスト生成
• Authors: Ximing Lu, Sean Welleck, Peter West, Liwei Jiang, Jungo Kasai, Daniel Khashabi, Ronan Le Bras, Lianhui Qin, Youngjae Yu, Rowan Zellers, Noah A. Smith, Yejin Choi
• Abstract要約: 本稿では,将来のコスト見積を組み込んだ復号アルゴリズムであるNeuroLogic A*esqueを提案する。 大規模言語モデルに効率的な効率的なルックアヘッドを開発する。 提案手法は,5世代タスクにおける競合的ベースラインと,テーブル・トゥ・テキスト生成,制約された機械翻訳,キーワード制約付き生成における最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 73.96837492216204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The dominant paradigm for neural text generation is left-to-right decoding from autoregressive language models. Constrained or controllable generation under complex lexical constraints, however, requires foresight to plan ahead feasible future paths. Drawing inspiration from the A* search algorithm, we propose NeuroLogic A*esque, a decoding algorithm that incorporates heuristic estimates of future cost. We develop efficient lookahead heuristics that are efficient for large-scale language models, making our method a drop-in replacement for common techniques such as beam search and top-k sampling. To enable constrained generation, we build on NeuroLogic decoding (Lu et al., 2021), combining its flexibility in incorporating logical constraints with A*esque estimates of future constraint satisfaction. Our approach outperforms competitive baselines on five generation tasks, and achieves new state-of-the-art performance on table-to-text generation, constrained machine translation, and keyword-constrained generation. The improvements are particularly notable on tasks that require complex constraint satisfaction or in few-shot or zero-shot settings. NeuroLogic A*esque illustrates the power of decoding for improving and enabling new capabilities of large-scale language models.
• Abstract（参考訳）: ニューラルテキスト生成の主要なパラダイムは、自己回帰言語モデルからの左から右への復号である。 しかし、複雑な語彙的制約の下での制約付きまたは制御可能な生成は、将来の経路を計画するために先見が必要である。 A*探索アルゴリズムからインスピレーションを得たNeuroLogic A*esqueは,将来のコストのヒューリスティックな推定を組み込んだ復号アルゴリズムである。 本研究では,大規模言語モデルにおいて効率のよいルックアヘッドヒューリスティックスを開発し,ビームサーチやトップクサンプリングなどの一般的な手法をドロップインで置き換える手法を提案する。 制約付き生成を可能にするために、神経学的デコード(lu et al., 2021)を基盤とし、論理的な制約と、将来の制約満足度に関する明確な推定を組み込む柔軟性を組み合わせる。 提案手法は,5世代のタスクにおける競争ベースラインを上回り,テーブル・ツー・テキスト生成,制約付き機械翻訳,キーワード制約付き生成において新たな最先端性能を実現する。 この改善は、複雑な制約満足度を必要とするタスクや、少数またはゼロショット設定を必要とするタスクで特に顕著である。 NeuroLogic A*esqueは、大規模な言語モデルの新機能の改善と実現のためのデコーディングのパワーを説明している。

関連論文リスト

• Optimization Over Trained Neural Networks: Taking a Relaxing Walk [4.517039147450688]
  ニューラルネットワークモデルの大域的および局所的線形緩和を探索し,よりスケーラブルな解法を提案する。 我々の解法は最先端のMILP解法と競合し、それ以前には入力、深さ、ニューロン数の増加によるより良い解法を導出する。
  論文  参考訳（メタデータ） (2024-01-07T11:15:00Z)
• Unlocking Anticipatory Text Generation: A Constrained Approach for Large Language Models Decoding [75.06872859716049]
  大規模言語モデル(LLM)は、テキスト生成の強力な能力を示している。 毒性や幻覚などの望ましくない行動が現れることがある。 将来制約付き生成問題としてテキスト生成の形式化を提案する。
  論文  参考訳（メタデータ） (2023-12-11T06:35:33Z)
• Neuron Patching: Semantic-based Neuron-level Language Model Repair for Code Generation [32.178931149612644]
  ulModel ulImprovement via ulNeuron ulTargeting (textscMINT)は、コード言語モデル(LM)を修復するための新しいアプローチである。 textscMINTは有効で効率的で信頼性が高く、最小数のニューロンにパッチを当てることで神経モデルを修正できる。
  論文  参考訳（メタデータ） (2023-12-08T20:28:08Z)
• Why is constrained neural language generation particularly challenging? [13.62873478165553]
  本稿では、制約付きニューラルネットワーク生成の新たな話題について広範な調査を行う。 我々は条件と制約を区別し、制約付きテキスト生成タスクを提示し、制約付きテキスト生成のための既存の方法と評価指標をレビューする。 我々の目標は、この新興分野の最近の進歩とトレンドを強調し、最も有望な方向性と、制約のあるニューラルネットワーク生成研究の最先端への限界を知らせることである。
  論文  参考訳（メタデータ） (2022-06-11T02:07:33Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer [119.70961704127157]
  近年,非並列テキストスタイルの転送が研究の関心を集めている。 現在のアプローチでは、元の文の内容やロジックを保存できない。 文を言語グラフとしてモデル化し,グラフレベルで特徴抽出とスタイル転送を行う,グラフトランスフォーマーベースのAuto-GTAEを提案する。
  論文  参考訳（メタデータ） (2021-02-01T11:08:45Z)
• NeuroLogic Decoding: (Un)supervised Neural Text Generation with Predicate Logic Constraints [75.66980495245926]
  条件付きテキスト生成は、しばしば語彙的な制約を必要とする。 我々は、ニューラルネットワークモデル -- 教師付きか否かに関わらず -- がフロートテキストを生成することを可能にする、シンプルで効果的なアルゴリズムであるNeuroLogic Decodingを提案する。 この結果から,制御可能な微粒化生成のための大規模ニューラルネットワークの限界と,推論時間アルゴリズムの約束が示唆された。
  論文  参考訳（メタデータ） (2020-10-24T11:55:22Z)
• Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
  本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。 提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。 新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
  論文  参考訳（メタデータ） (2020-04-22T06:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。