論文の概要: Efficient Guided Generation for Large Language Models

• arxiv url: http://arxiv.org/abs/2307.09702v4
• Date: Sat, 19 Aug 2023 21:27:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 22:54:28.369173
• Title: Efficient Guided Generation for Large Language Models
• Title（参考訳）: 大規模言語モデルのための効率的誘導生成
• Authors: Brandon T. Willard and R\'emi Louf
• Abstract要約: 本稿では, 有限状態マシンの状態間の遷移の観点から, ニューラルテキスト生成の問題を構成的に再構成する方法を示す。 このフレームワークは、正規表現と文脈自由文法でテキスト生成を導くための効率的なアプローチをもたらす。
• 参考スコア（独自算出の注目度）: 0.21485350418225244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this article we show how the problem of neural text generation can be constructively reformulated in terms of transitions between the states of a finite-state machine. This framework leads to an efficient approach to guiding text generation with regular expressions and context-free grammars by allowing the construction of an index over a language model's vocabulary. The approach is model agnostic, allows one to enforce domain-specific knowledge and constraints, and enables the construction of reliable interfaces by guaranteeing the structure of the generated text. It adds little overhead to the token sequence generation process and significantly outperforms existing solutions. An implementation is provided in the open source Python library Outlines
• Abstract（参考訳）: 本稿では,有限状態マシンの状態間の遷移の観点から,ニューラルテキスト生成の問題を構成的に再構成する方法について述べる。 このフレームワークは、正規表現と文脈自由文法でテキスト生成を導くための効率的な手法となり、言語モデルの語彙の上にインデックスを構築することができる。 このアプローチはモデル非依存であり、ドメイン固有の知識と制約を強制し、生成したテキストの構造を保証することによって信頼性の高いインターフェースの構築を可能にする。 トークンシーケンス生成プロセスにオーバーヘッドはほとんどなく、既存のソリューションよりも大幅に優れています。 実装は、オープンソースのpythonライブラリアウトラインで提供される

関連論文リスト

• XGrammar: Flexible and Efficient Structured Generation Engine for Large Language Models [3.9417976759908573]
  文脈自由文法は制約付き復号化による構造化生成を可能にするフレキシブルなアプローチである。 XGrammarは、大規模言語モデルのための柔軟で効率的な構造生成エンジンである。 XGrammarは、既存のソリューションで最大100倍のスピードアップを達成することができる。
  論文  参考訳（メタデータ） (2024-11-22T18:01:37Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Instruct-SCTG: Guiding Sequential Controlled Text Generation through Instructions [42.67608830386934]
  Instruct-SCTGは、命令調整言語モデルを利用して構造的に一貫性のあるテキストを生成するシーケンシャルフレームワークである。 本フレームワークは,自然言語命令を用いて,所望の人体構造に整合して記事を生成する。
  論文  参考訳（メタデータ） (2023-12-19T16:20:49Z)
• Text-Blueprint: An Interactive Platform for Plan-based Conditional Generation [84.95981645040281]
  プランニングは条件付き生成を不透明にし、基礎を固める上で有用な中間ステップである。 本稿では,問合せ-問合せ-問合せ-問合せペアを用いて,問合せに焦点を絞った要約のためのWebブラウザによる実演を紹介する。
  論文  参考訳（メタデータ） (2023-04-28T18:14:48Z)
• The Whole Truth and Nothing But the Truth: Faithful and Controllable Dialogue Response Generation with Dataflow Transduction and Constrained Decoding [65.34601470417967]
  本稿では,ニューラルネットワークモデリングとルールベース生成の強みを組み合わせた対話応答生成のためのハイブリッドアーキテクチャについて述べる。 本実験により, 本システムは, 流布性, 妥当性, 真理性の評価において, ルールベースおよび学習的アプローチの両方に優れることがわかった。
  論文  参考訳（メタデータ） (2022-09-16T09:00:49Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• On Efficient Training, Controllability and Compositional Generalization of Insertion-based Language Generators [18.98725770517241]
  InsNetは挿入ベースのシーケンスモデルで、トランスフォーマーデコーダと同じくらい効率的にトレーニングできる。 InsNetのストーリー生成とCleVR-CoGENTキャプションの評価を行った。
  論文  参考訳（メタデータ） (2021-02-12T11:05:02Z)
• Breaking Writer's Block: Low-cost Fine-tuning of Natural Language Generation Models [62.997667081978825]
  ライターのブロックを解くという問題に対して,自然言語生成モデルを微調整するシステムについて述べる。 提案した微調整は, 少数のエポックとUSD150の総コストを伴っても, 優れた結果が得られる。
  論文  参考訳（メタデータ） (2020-12-19T11:19:11Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• Syntax-driven Iterative Expansion Language Models for Controllable Text Generation [2.578242050187029]
  本稿では,ニューラルテキスト生成に構文的帰納バイアスを導入するための新しいパラダイムを提案する。 実験の結果,このパラダイムはテキスト生成に有効であり,LSTMとトランスフォーマーの質と同等の多様性を持つことがわかった。
  論文  参考訳（メタデータ） (2020-04-05T14:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。