論文の概要: Using Grammar Masking to Ensure Syntactic Validity in LLM-based Modeling Tasks

• arxiv url: http://arxiv.org/abs/2407.06146v1
• Date: Mon, 8 Jul 2024 17:19:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 14:40:07.164810
• Title: Using Grammar Masking to Ensure Syntactic Validity in LLM-based Modeling Tasks
• Title（参考訳）: LLMモデリングタスクにおける文法マスキングを用いた構文的妥当性保証
• Authors: Lukas Netz, Jan Reimar, Bernhard Rumpe,
• Abstract要約: 文法マスキング(Grammar masking)は、与えられた文脈自由文法に対して構文的に正しいモデルを生成するための大きな言語モデルを導くために用いられる。 文法マスキングは,複数の言語モデルのモデリング能力を劇的に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 0.996023506058745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present and evaluate a method called grammar masking, which is used to guide large language models (LLMs) toward producing syntactically correct models for a given context-free grammar. Prompt engineering methods such as few-shot learning or priming can be used to improve the chances of an LLM producing correct syntax, but the more complex the grammar, the more time-consuming and less promising these methods become. Previous work is focused primarily on the usage of either language model training or prompt engineering. In this work, a method is presented that restricts the output to a given grammar using constrained decoding to ensure the output adheres to a valid syntax. We use several DSLs built with MontiCore and task multiple LLMs to produce models with and without constrained decoding. A corresponding parser is used to confirm the syntactic correctness of each model. We show that grammar masking can dramatically improve the modeling capabilities of several LLMs, reducing the need for well-refined prompting while increasing the chance of producing correct models.
• Abstract（参考訳）: 本研究では,ある文脈自由文法に対して構文的に正しいモデルを生成するために,大規模言語モデル (LLM) を導出するための文法マスキング法を提案し,評価する。 少数ショット学習やプライミングのようなプロンプトエンジニアリング手法は、LLMが正しい構文を生成する可能性を改善するために用いられるが、文法がより複雑になればなるほど、これらの手法はより時間がかかり、期待できないものとなる。 これまでの仕事は、主に言語モデルトレーニングまたはプロンプトエンジニアリングの使用に焦点を当てていた。 本研究では,制約付き復号法を用いて与えられた文法に出力を限定する手法を提示し,その出力が有効な構文に適合することを保証する。 いくつかのDSLをMontiCoreで構築し、複数のLLMをタスクして、制約付きデコーディングなしでモデルを生成します。 対応するパーサを使用して、各モデルの構文的正しさを確認する。 文法マスキングは,複数のLLMのモデリング能力を劇的に改善し,適切なモデルを作成する可能性を高めつつ,適切なプロンプトの必要性を低減できることを示す。

関連論文リスト

• Cross-model Control: Improving Multiple Large Language Models in One-time Training [34.98931804630706]
  クロスモデル制御(CMC)は、1回トレーニングで複数の大規模言語モデルを改善する手法である。 この知見に基づいて、最小数のパラメータを持つ小さな言語モデルを組み込む。 本稿では,PM-Mined という新しいトークンマッピング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-23T06:52:09Z)
• Optimising Hard Prompts with Few-Shot Meta-Prompting [0.0]
  文脈的プロンプトは、文書や対話の形式でコンテキストを含み、Large Language Model (LLM)への自然言語命令も含む。 コンテキストを判断すると、プロンプトのテンプレートとして機能する。 本稿では,既存のプロンプトテンプレートのセットからLCMを用いて,そのコンテキストを明らかにすることなく,より優れたテンプレートを生成するための反復的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-09T07:02:57Z)
• Which Syntactic Capabilities Are Statistically Learned by Masked Language Models for Code? [51.29970742152668]
  精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。 これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
  論文  参考訳（メタデータ） (2024-01-03T02:44:02Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
  プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。 タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:47:42Z)
• Grammar Prompting for Domain-Specific Language Generation with Large Language Models [40.831045850285776]
  大規模言語モデル(LLM)は、コンテキスト内サンプルのごく一部から、幅広い自然言語タスクを実行することを学べる。 本稿では,LLMが外部知識やドメイン固有の制約を利用できるための簡単な手法であるEmphgrammar promptingを提案する。
  論文  参考訳（メタデータ） (2023-05-30T17:26:01Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining [59.169836983883656]
  COCO-LMは、チャレンジングなエラーとテキストシーケンスの変換によって言語モデルを事前学習する新しい自己監視学習フレームワークです。 COCO-LMは、オリジナルのテキストシーケンスでマスク&予測トークンに補助言語モデルを採用しています。 分析の結果,coco-lmのアドバンテージは,困難なトレーニング信号,よりコンテキスト化されたトークン表現,正規化されたシーケンス表現であることがわかった。
  論文  参考訳（メタデータ） (2021-02-16T22:24:29Z)
• Explicitly Modeling Syntax in Language Models with Incremental Parsing and a Dynamic Oracle [88.65264818967489]
  我々は新しい構文認識型言語モデル、Syntactic Ordered Memory (SOM)を提案する。 モデルは、構造をインクリメンタルにモデル化し、標準言語モデルの条件付き確率設定を維持する。 実験により、SOMは言語モデリング、インクリメンタル解析、構文一般化テストにおいて強力な結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-10-21T17:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。