論文の概要: Generating Structured Outputs from Language Models: Benchmark and Studies
- arxiv url: http://arxiv.org/abs/2501.10868v1
- Date: Sat, 18 Jan 2025 20:26:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:25:53.303850
- Title: Generating Structured Outputs from Language Models: Benchmark and Studies
- Title（参考訳）: 言語モデルから構造化出力を生成する:ベンチマークと研究
- Authors: Saibo Geng, Hudson Cooper, Michał Moskal, Samuel Jenkins, Julian Berman, Nathan Ranchin, Robert West, Eric Horvitz, Harsha Nori,
- Abstract要約: 制約付き復号化は、世代間構造的出力を強制する分野において支配的な技術として出現している。
本稿では,制約に順応した出力の生成効率,生成した出力の多様な品質のカバレッジという,3つの重要な領域にわたる制約付き復号手法を評価するための評価フレームワークを提案する。
我々の研究は、制約付きデコードフレームワークを改善し、制約付きデコード構造生成を評価するための新しい標準を設定するための実用的な洞察を提供する。
- 参考スコア（独自算出の注目度）: 24.017253364927086
- License:
- Abstract: Reliably generating structured outputs has become a critical capability for modern language model (LM) applications. Constrained decoding has emerged as the dominant technology across sectors for enforcing structured outputs during generation. Despite its growing adoption, little has been done with the systematic evaluation of the behaviors and performance of constrained decoding. Constrained decoding frameworks have standardized around JSON Schema as a structured data format, with most uses guaranteeing constraint compliance given a schema. However, there is poor understanding of the effectiveness of the methods in practice. We present an evaluation framework to assess constrained decoding approaches across three critical dimensions: efficiency in generating constraint-compliant outputs, coverage of diverse constraint types, and quality of the generated outputs. To facilitate this evaluation, we introduce JSONSchemaBench, a benchmark for constrained decoding comprising 10K real-world JSON schemas that encompass a wide range of constraints with varying complexity. We pair the benchmark with the existing official JSON Schema Test Suite and evaluate six state-of-the-art constrained decoding frameworks, including Guidance, Outlines, Llamacpp, XGrammar, OpenAI, and Gemini. Through extensive experiments, we gain insights into the capabilities and limitations of constrained decoding on structured generation with real-world JSON schemas. Our work provides actionable insights for improving constrained decoding frameworks and structured generation tasks, setting a new standard for evaluating constrained decoding and structured generation. We release JSONSchemaBench at https://github.com/guidance-ai/jsonschemabench
- Abstract（参考訳）: 構造化された出力を確実に生成することは、現代の言語モデル(LM)アプリケーションにとって重要な機能となっている。
制約付き復号化は、世代間構造的出力を強制する分野において支配的な技術として出現している。
採用が増えているにもかかわらず、制約付きデコーディングの動作と性能の体系的な評価はほとんど行われていない。
制約付きデコーディングフレームワークは、JSON Schemaを構造化データフォーマットとして標準化した。
しかし、実際に行われている手法の有効性についてはあまり理解されていない。
本稿では,制約に準拠した出力を生成する際の効率,多様な制約型のカバレッジ,生成した出力の品質の3つの重要な側面にわたる制約付き復号手法を評価するための評価フレームワークを提案する。
この評価を容易にするために、JSONSchemaBenchを紹介した。JSONSchemaBenchは、10Kの現実世界のJSONスキーマからなる制約付きデコーディングのベンチマークで、様々な複雑さを伴う幅広い制約を含む。
ベンチマークを既存の公式JSON Schema Test Suiteと組み合わせて、Guidance、Outlines、Llamacpp、XGrammar、OpenAI、Geminiを含む6つの最先端の制約付きデコーディングフレームワークを評価します。
広範な実験を通じて、実世界のJSONスキーマを用いた構造化世代における制約付きデコーディングの機能と制限に関する洞察を得る。
我々の研究は、制約付きデコードフレームワークと構造化された生成タスクを改善するための実用的な洞察を提供し、制約付きデコードと構造化された生成を評価するための新しい標準を設定します。
https://github.com/guidance-ai/jsonschemabenchでJSONSchemaBenchをリリースしました。
関連論文リスト
- LLM as a code generator in Agile Model Driven Development [1.12646803578849]
この研究は、これらの課題を克服するための実行可能な戦略としてモデル駆動開発(MDD)を擁護します。
我々は GPT4 をコードジェネレータとして利用する Agile Model Driven Development (AMDD) アプローチを提案する。
GPT4自動生成機能を適用すると、JADEおよびPADEフレームワークと互換性のあるJavaとPythonコードが生成される。
論文 参考訳（メタデータ） (2024-10-24T07:24:11Z) - Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。
しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。
本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
論文 参考訳（メタデータ） (2024-05-24T04:35:13Z) - Coding by Design: GPT-4 empowers Agile Model Driven Development [0.03683202928838613]
この研究は、アジャイルモデル駆動開発(MDD)アプローチを提供し、OpenAIのGPT-4を使ってコードの自動生成を強化する。
私たちの研究は、現行のMDDメソッドへの重要な貢献として"アジリティ"を強調しています。
最終的に、GPT-4を利用して、最後のレイヤはJavaとPythonの両方でコードを自動生成します。
論文 参考訳（メタデータ） (2023-10-06T15:05:05Z) - Efficient Guided Generation for Large Language Models [0.21485350418225244]
本稿では, 有限状態マシンの状態間の遷移の観点から, ニューラルテキスト生成の問題を構成的に再構成する方法を示す。
このフレームワークは、正規表現と文脈自由文法でテキスト生成を導くための効率的なアプローチをもたらす。
論文 参考訳（メタデータ） (2023-07-19T01:14:49Z) - COLLIE: Systematic Construction of Constrained Text Generation Tasks [33.300039566331876]
COLLIEは文法ベースのフレームワークで、多種多様な世代レベルのリッチで構成的な制約を仕様化することができる。
本研究では,制約構造と生テキストコーパスが与えられたタスクインスタンスの自動抽出ツールを開発する。
我々は、最先端の5つの言語モデルに対して体系的な実験を行い、その性能を分析し、欠点を明らかにする。
論文 参考訳（メタデータ） (2023-07-17T17:48:51Z) - ReCode: Robustness Evaluation of Code Generation Models [90.10436771217243]
コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。
ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。
ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
論文 参考訳（メタデータ） (2022-12-20T14:11:31Z) - A Simple, Yet Effective Approach to Finding Biases in Code Generation [16.094062131137722]
この研究は、現在のコード生成システムが、彼らの大きな言語モデルバックボーンから受け継がれた望ましくないバイアスを示すことを示している。
コーディング課題のモジュラー分解と解析を可能にする「影響ブロック」の概念を提案する。
論文 参考訳（メタデータ） (2022-10-31T15:06:15Z) - Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。
我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
論文 参考訳（メタデータ） (2022-05-19T01:27:53Z) - COLD Decoding: Energy-based Constrained Text Generation with Langevin
Dynamics [69.8062252611486]
コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。
制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
論文 参考訳（メタデータ） (2022-02-23T18:59:27Z) - An Integer Linear Programming Framework for Mining Constraints from Data [81.60135973848125]
データから制約をマイニングするための一般的なフレームワークを提案する。
特に、構造化された出力予測の推論を整数線形プログラミング(ILP)問題とみなす。
提案手法は,9×9のスドクパズルの解法を学習し,基礎となるルールを提供することなく,例からツリー問題を最小限に分散させることが可能であることを示す。
論文 参考訳（メタデータ） (2020-06-18T20:09:53Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳（メタデータ） (2020-05-01T18:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。