論文の概要: Flexible Grammar-Based Constrained Decoding for Language Models
- arxiv url: http://arxiv.org/abs/2305.13971v2
- Date: Wed, 24 May 2023 11:51:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 10:54:34.405091
- Title: Flexible Grammar-Based Constrained Decoding for Language Models
- Title（参考訳）: フレキシブル文法に基づく言語モデルのための制約付きデコーディング
- Authors: Saibo Geng, Martin Josifosky, Maxime Peyrard, Robert West
- Abstract要約: 本稿では,形式的な文法制約でデコードを強化することを提案する。
我々のフレームワークは、任意のCFGやデコードアルゴリズムと簡単に組み合わせることができる。
我々は,多くのNLPタスクの出力を形式言語として表現できることを実証した。
- 参考スコア（独自算出の注目度）: 33.3965225064554
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLMs have shown impressive few-shot performance across many tasks. However,
they still struggle when it comes to reliably generating complex output
structures, such as those required for information extraction. This limitation
stems from the fact that LLMs, without fine-tuning, tend to generate free text
rather than structures precisely following a specific grammar. In this work, we
propose to enrich the decoding with formal grammar constraints. More
concretely, given Context-Free Grammar(CFG), our framework ensures that the
token generated in each decoding step would lead to a valid continuation
compliant with the grammar production rules. This process guarantees the
generation of valid sequences. Importantly, our framework can be readily
combined with any CFG or decoding algorithm. We demonstrate that the outputs of
many NLP tasks can be represented as formal languages, making them suitable for
direct use in our framework. We conducted experiments with two challenging
tasks involving large alphabets in their grammar (Wikidata entities and
relations): information extraction and entity disambiguation. Our results with
LLaMA models indicate that grammar-constrained decoding substantially
outperforms unconstrained decoding and even competes with task-specific
fine-tuned models. These findings suggest that integrating grammar-based
constraints during decoding holds great promise in making LLMs reliably produce
structured outputs, especially in setting where training data is scarce and
fine-tuning is expensive.
- Abstract（参考訳）: LLMは多くのタスクで印象的な数ショットのパフォーマンスを示している。
しかし、情報抽出など複雑な出力構造を確実に生成する上ではまだ苦労している。
この制限は、LLMが微調整なしで、特定の文法に従う構造よりも自由テキストを生成する傾向があるという事実に由来する。
本稿では,形式的な文法制約により復号性を高めることを提案する。
より具体的には、私たちのフレームワークは、Context-Free Grammar(CFG)を前提として、各デコードステップで生成されたトークンが文法生成規則に準拠した有効な継続をもたらすことを保証します。
このプロセスは有効なシーケンスの生成を保証する。
重要なことは、我々のフレームワークは任意のCFGやデコードアルゴリズムと簡単に組み合わせることができる。
我々は,多くのNLPタスクの出力を形式言語として表現できることを示す。
文法における大きなアルファベット (wikidata entities and relations) を含む2つの課題(情報抽出とエンティティの曖昧さ)を用いて実験を行った。
llamaモデルを用いた結果から,文法制約付きデコーディングは非制約型デコーディングを実質的に上回っており,タスク固有の微調整モデルとも競合することがわかった。
これらの結果から,デコード中に文法に基づく制約を統合することは,llmが構造化アウトプットを確実に生成する上で,特にトレーニングデータが不足し,微調整が高価である場合に大きな期待が持てることが示唆された。
関連論文リスト
- Enhancing LLM Character-Level Manipulation via Divide and Conquer [108.6908427615402]
大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる強力な一般化機能を示している。
彼らは文字レベルの文字列操作において顕著な弱点を示し、文字削除、挿入、置換といった基本的な操作に苦労した。
本稿では,トークンレベルの処理と文字レベルの操作のギャップを埋める新しい手法であるDivide and Conquerによる文字レベル操作を提案する。
論文 参考訳（メタデータ） (2025-02-12T07:37:39Z) - Flexible and Efficient Grammar-Constrained Decoding [5.671312847528642]
文法制約付き復号法(GCD)は、LLM出力がそのような規則と一致することを保証できる。
既存のGCDアルゴリズムでは、共通文法を前処理するのに何分もかかる。
本稿では,既存の手法よりも17.71倍高速なオフライン前処理を実現するGCDアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-02-07T17:35:17Z) - Filter-then-Generate: Large Language Models with Structure-Text Adapter for Knowledge Graph Completion [20.973071287301067]
大規模言語モデル(LLM)は、膨大な固有の知識と優れた意味理解能力を示す。
実証的な証拠は、LLMは従来の知識グラフ補完手法よりも一貫して性能が悪いことを示唆している。
そこで本研究では,これらの課題に対処するために,FtGという命令チューニングに基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2024-12-12T09:22:04Z) - Graph-DPEP: Decomposed Plug and Ensemble Play for Few-Shot Document Relation Extraction with Graph-of-Thoughts Reasoning [34.85741925091139]
Graph-DPEPフレームワークは、自然言語で提示された三重項の説明思想の背景にある。
我々は,サブグラフに埋め込まれた推論的思考を活用することで,型リスト全体の「アンサンブルプレイ」生成を開発する。
論文 参考訳（メタデータ） (2024-11-05T07:12:36Z) - Grammar-Aligned Decoding [30.972850034752884]
LLM(Large Language Models)は、プログラムコード、数学的公式、整形されたマークアップなどの高度に構造化された出力を確実に生成するのに苦労する。
制約付き復号法は、LLMが出力できるトークンを各ステップで厳格に制限し、出力が与えられた制約と一致することを保証することによってこの問題を軽減する。
本稿では,GCD技術がLLMの分布を歪め,文法的だがLLMに比例しない確率で現れる出力を導出することを示す。
論文 参考訳（メタデータ） (2024-05-31T17:39:15Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳（メタデータ） (2023-08-23T12:36:57Z) - Grammar Prompting for Domain-Specific Language Generation with Large
Language Models [40.831045850285776]
大規模言語モデル(LLM)は、コンテキスト内サンプルのごく一部から、幅広い自然言語タスクを実行することを学べる。
本稿では,LLMが外部知識やドメイン固有の制約を利用できるための簡単な手法であるEmphgrammar promptingを提案する。
論文 参考訳（メタデータ） (2023-05-30T17:26:01Z) - Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。
本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。
我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
論文 参考訳（メタデータ） (2023-05-23T04:28:16Z) - LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。
私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。
LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
論文 参考訳（メタデータ） (2023-05-17T15:53:31Z) - MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text
Generation [102.20036684996248]
多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。
WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
論文 参考訳（メタデータ） (2022-12-16T17:36:23Z) - Language Models of Code are Few-Shot Commonsense Learners [106.1531522893209]
自然言語入力が与えられた場合、目標はイベントや推論グラフなどのグラフを生成することだ。
既存のアプローチは、出力グラフをノードとエッジのフラットリストとしてシリアライズする。
コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、事前学習されたコードLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-10-13T16:09:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。