論文の概要: HyGenar: An LLM-Driven Hybrid Genetic Algorithm for Few-Shot Grammar Generation

• arxiv url: http://arxiv.org/abs/2505.16978v1
• Date: Thu, 22 May 2025 17:52:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.524206
• Title: HyGenar: An LLM-Driven Hybrid Genetic Algorithm for Few-Shot Grammar Generation
• Title（参考訳）: HyGenar:Few-Shot文法生成のためのLLM駆動型ハイブリッド遺伝的アルゴリズム
• Authors: Weizhi Tang, Yixuan Li, Chris Sypherd, Elizabeth Polgreen, Vaishak Belle,
• Abstract要約: 数ショットの文法生成のための大規模言語モデル(LLM)の能力について検討・改善する。 以上の結果から,既存のLLMは文法生成に準最適であることが明らかとなった。 文法生成を最適化するLLM駆動型ハイブリッド遺伝的アルゴリズムHyGenarを提案する。
• 参考スコア（独自算出の注目度）: 17.367256030047123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grammar plays a critical role in natural language processing and text/code generation by enabling the definition of syntax, the creation of parsers, and guiding structured outputs. Although large language models (LLMs) demonstrate impressive capabilities across domains, their ability to infer and generate grammars has not yet been thoroughly explored. In this paper, we aim to study and improve the ability of LLMs for few-shot grammar generation, where grammars are inferred from sets of a small number of positive and negative examples and generated in Backus-Naur Form. To explore this, we introduced a novel dataset comprising 540 structured grammar generation challenges, devised 6 metrics, and evaluated 8 various LLMs against it. Our findings reveal that existing LLMs perform sub-optimally in grammar generation. To address this, we propose an LLM-driven hybrid genetic algorithm, namely HyGenar, to optimize grammar generation. HyGenar achieves substantial improvements in both the syntactic and semantic correctness of generated grammars across LLMs.
• Abstract（参考訳）: 文法は、構文の定義、パーサの作成、構造化された出力の導出を可能にすることで、自然言語処理とテキスト/コード生成において重要な役割を果たす。 大規模言語モデル(LLM)はドメイン間で印象的な能力を示すが、文法を推論し生成する能力はまだ十分に研究されていない。 本稿では,少数の正負例の集合から文法を推定し,Backus-Naur形式で生成する,数ショット文法生成のためのLLMの能力について検討し,改善することを目的とする。 そこで我々は,540の構造化文法生成課題からなる新しいデータセットを導入し,6つの指標を考案し,それに対して8つのLLMを評価した。 以上の結果から,既存のLLMは文法生成に準最適であることが明らかとなった。 そこで本研究では,文法生成を最適化するLLM駆動型ハイブリッド遺伝的アルゴリズムHyGenarを提案する。 HyGenarは、LLM間で生成された文法の構文的および意味的正当性の両方において、大幅に改善されている。

関連論文リスト

• Grammar-Based Code Representation: Is It a Worthy Pursuit for LLMs? [29.690921649662744]
  グラマーはプログラミング言語とソフトウェア工学の基盤となっている。 既存の研究では、小規模モデルにおける文法に基づくコード表現の有効性を実証している。 コード生成プロセスに文法規則を組み込んだ,数十億規模のGrammarCoderモデルを開発した。
  論文  参考訳（メタデータ） (2025-03-07T15:23:13Z)
• IterGen: Iterative Semantic-aware Structured LLM Generation with Backtracking [5.174301428591665]
  大規模言語モデル(LLM)は自然言語やコード生成といったタスクに広く使われている。 そのアウトプットはしばしば幻覚、毒性、誤った結果などの問題に悩まされる。 構造化LLM生成のための現在のライブラリは、バックトラックをサポートしない左から右へのデコードに依存している。 IterGenは、文法記号に基づいて生成された出力の前方と後方の両方を移動可能にする。
  論文  参考訳（メタデータ） (2024-10-09T16:21:38Z)
• Genetic Instruct: Scaling up Synthetic Generation of Coding Instructions for Large Language Models [59.60208063956459]
  大規模言語モデル(LLM)は、効果的なアライメントのために高品質な命令データを必要とする。 本稿では,大規模かつ高品質な符号化命令を合成するスケーラブルなアルゴリズムであるGenematic-Instructを提案する。
  論文  参考訳（メタデータ） (2024-07-29T20:42:59Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
  本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。 本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。 その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-25T03:58:49Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• Grammar Prompting for Domain-Specific Language Generation with Large Language Models [40.831045850285776]
  大規模言語モデル(LLM)は、コンテキスト内サンプルのごく一部から、幅広い自然言語タスクを実行することを学べる。 本稿では,LLMが外部知識やドメイン固有の制約を利用できるための簡単な手法であるEmphgrammar promptingを提案する。
  論文  参考訳（メタデータ） (2023-05-30T17:26:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。