論文の概要: GrammarRL: Effective Grammar-Constrained Decoding via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.39869v1
• Date: Wed, 30 Sep 2026 14:49:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.944537
• Title: GrammarRL: Effective Grammar-Constrained Decoding via Reinforcement Learning
• Title（参考訳）: GrammarRL:強化学習による効果的な文法制約付きデコーディング
• Abstract要約: GrammarRLは、注釈付きデータを必要としない言語モデルを文法制約に適応させるラベルなし強化学習法である。 1Bから8BパラメータのLlamaモデルを用いて,手話グロス翻訳,階層的テキスト分類,名前付きエンティティ認識に関するGrammarRLの評価を行った。
• 参考スコア（独自算出の注目度）: 13.667644025413361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grammar-constrained generation guarantees syntactic validity, but can substantially degrade semantic quality when the model's preferred outputs are poorly aligned with the imposed grammar. This trade-off is particularly severe when the prompt is underspecified or the model has limited instruction-following ability. Beam search can partially mitigate these failures by exploring multiple valid sequences, but its computational cost grows with beam width, while sequence-level probability is only an imperfect proxy for semantic quality. We introduce GrammarRL, a label-free reinforcement learning method that adapts language models to grammar constraints without requiring annotated data. GrammarRL optimizes the model using two complementary self-supervised rewards derived from its own likelihoods: a direct reward, measuring how likely the constrained output is given the input, and a reverse reward, measuring how well the input can be reconstructed from the generated output. We optimize these rewards with a Reinforce Leave-One-Out (RLOO) objective over groups of grammar-constrained rollouts, augmented with the top-1 beam-search hypothesis and regularized towards a frozen base model. We evaluate GrammarRL on sign language gloss translation, hierarchical text classification, and named entity recognition using Llama models ranging from 1B to 8B parameters. GrammarRL consistently outperforms constrained greedy decoding, with an average improvement of 9.8 points and gains of up to 22.8 BLEU. It matches or outperforms beam search on two of the three tasks while preserving greedy-decoding inference cost. Ablations further show that the two rewards are complementary: either reward alone can underperform the untrained baseline, whereas their combination consistently improves upon it.
• Abstract（参考訳）: 文法制約付き生成は構文的妥当性を保証するが、モデルが推奨する出力が課した文法に不整合である場合、意味的品質を著しく低下させることができる。 このトレードオフは、プロンプトが不特定であるか、またはモデルが命令追従能力に制限がある場合、特に深刻である。 ビーム探索は、複数の有効なシーケンスを探索することで、これらの障害を部分的に軽減することができるが、その計算コストはビーム幅とともに増大する。 本稿では,注釈付きデータを必要としない言語モデルを文法制約に適応させるラベルなし強化学習法であるGrammarRLを紹介する。 グラマーRLは、直接報酬(direct reward)、制約された出力が入力を受ける可能性の測定(reverse reward)、生成した出力からどのくらいの精度で入力を再構成できるかの2つの補完的な自己教師型報酬(direct reward)を用いてモデルを最適化する。 我々はこれらの報酬を、文法制約付きロールアウト群よりも強化されたLeave-One-Out (RLOO) 目標を用いて最適化し、トップ1ビーム探索仮説で拡張し、凍結ベースモデルに向けて正規化する。 1Bから8BパラメータのLlamaモデルを用いて,手話グロス翻訳,階層的テキスト分類,名前付きエンティティ認識に関するGrammarRLの評価を行った。 グラマーRLは制約付きグレディ復号より一貫して優れており、平均9.8ポイント、最大22.8BLEUのゲインが向上している。 3つのタスクのうち2つでビームサーチと一致または性能を向上し、グレディデコード推論コストを抑える。 どちらの報酬も、訓練されていないベースラインを過小評価できるが、それらの組み合わせは一貫して改善される。

関連論文リスト

• Taming the Tail: Stable LLM Reinforcement Learning via Dynamic Vocabulary Pruning [35.41241409574854]
  推論エンジンと数値的精度のトレーニングシステムは、同じパラメータから異なる確率分布を生成し、トレーニング推論ミスマッチを生成する。 このようなトークンを刈り取ることで、大きな、体系的にバイアスのあるミスマッチを、小さな、境界付けられた最適化バイアスと交換する。
  論文  参考訳（メタデータ） (2025-12-28T21:44:07Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• On Eliciting Syntax from Language Models via Hashing [19.872554909401316]
  教師なし構文解析は、生のテキストから構文構造を推論することを目的としている。 本稿では,本機能を利用して生テキストから解析木を推定する可能性について検討する。 本手法は,事前学習した言語モデルから高品質な構文解析木を低コストで取得する上で,有効かつ効率的であることを示す。
  論文  参考訳（メタデータ） (2024-10-05T08:06:19Z)
• Unifying Global and Near-Context Biasing in a Single Trie Pass [11.277273712268897]
  NEバイアスリストと単語レベルn-gram言語モデル(LM)の未探索組み合わせを提案する。 提案したキーワードバイアスとn-gram LMの組み合わせは,エンティティ認識を最大32%改善し,WER全体の最大12%削減することを示す。
  論文  参考訳（メタデータ） (2024-09-20T13:53:37Z)
• Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
  本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。 我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。 我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
  論文  参考訳（メタデータ） (2023-11-30T13:22:15Z)
• GRACE: Discriminator-Guided Chain-of-Thought Reasoning [75.35436025709049]
  本稿では, 正しい推論手順を導出するために, GRACE (CorrectnEss Discriminator) を用いたチェーン・オブ・シークレット・リAsoningを提案する。 GRACEは、正しいステップと間違ったステップに対して対照的な損失で訓練された判別器を採用しており、復号時に次のステップ候補を採点するために使用される。
  論文  参考訳（メタデータ） (2023-05-24T09:16:51Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。