論文の概要: Explain-then-Process: Using Grammar Prompting to Enhance Grammatical Acceptability Judgments

• arxiv url: http://arxiv.org/abs/2506.02302v1
• Date: Mon, 02 Jun 2025 22:42:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.105268
• Title: Explain-then-Process: Using Grammar Prompting to Enhance Grammatical Acceptability Judgments
• Title（参考訳）: 説明-then- process: using Grammar Prompting to Enhance Grammatical Acceptability Judgments
• Authors: Russell Scheinberg, Ameeta Agrawal, Amber Shore, So Young Lee,
• Abstract要約: 大規模言語モデル(LLM)は文法的な規則を説明することができるが、文の受理性を判断する際にはそれらの規則を適用するのに失敗することが多い。 本稿では「文法プロンプト(grammar prompting)」について説明する。 LLMのメタ言語的説明をターゲットモデルにフィードバックすることで、ルールの理解とそれの使用の間のギャップを埋める。
• 参考スコア（独自算出の注目度）: 2.3749120526936465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can explain grammatical rules, yet they often fail to apply those rules when judging sentence acceptability. We present "grammar prompting", an explain-then-process paradigm: a large LLM first produces a concise explanation of the relevant syntactic phenomenon, then that explanation is fed back as additional context to the target model -- either an LLM or a smaller language model (SLM) -- before deciding which sentence of a minimal pair is grammatical. On the English BLiMP, Chinese SLING, and Russian RuBLiMP benchmarks, this simple prompt design yields substantial improvements over strong baselines across many syntactic phenomena. Feeding an LLM's metalinguistic explanation back to the target model bridges the gap between knowing a rule and using it. On SLMs, grammar prompting alone trims the average LLM-SLM accuracy gap by about 20%, and when paired with chain-of-thought, by 56% (13.0 pp -> 5.8 pp), all at negligible cost. The lightweight, language-agnostic cue lets low-cost SLMs approach frontier-LLM performance in multilingual settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)は文法的な規則を説明することができるが、文の受理性を判断する際にはそれらの規則を適用することに失敗することが多い。 大規模なLLMは、まず関連する構文現象の簡潔な説明を生成し、その説明は、最小ペアの文を決定する前に、LLMまたはより小さな言語モデル(SLM)のターゲットモデルに追加の文脈として送り返される。 英語のBLiMP、中国語のSling、ロシア語のRuBLiMPベンチマークでは、この単純なプロンプト設計は多くの構文上の現象に対して強いベースラインよりも大幅に改善されている。 LLMのメタ言語的説明をターゲットモデルにフィードバックすることで、ルールの理解とそれの使用の間のギャップを埋める。 SLMでは、文法だけで平均的なLLM-SLM精度ギャップを約20%減らし、チェーン・オブ・シント(英語版)と組み合わせると56%(13.0 pp -> 5.8 pp)の差を無視できるコストで減らした。 軽量で言語に依存しないキューにより、低コストのSLMは、多言語設定でフロンティアLLMパフォーマンスにアプローチできる。

関連論文リスト

• Refining Translations with LLMs: A Constraint-Aware Iterative Prompting Approach [7.5069214839655345]
  大言語モデル(LLM)は機械翻訳(MT)において顕著な熟練性を示している 本稿では,意味的正確性に不可欠なキーワードを優先することで,翻訳忠実度を高める多段階のプロンプトチェーンを提案する。 FLORES-200およびWMTデータセットのベースモデルとしてLlamaとQwenを使用した実験は、ベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-11-13T05:40:24Z)
• How to Make the Most of LLMs' Grammatical Knowledge for Acceptability Judgments [22.76776244036282]
  言語モデル(LM)の文法的知識は、言語的最小対のベンチマークを用いてしばしば測定される。 最近の大規模言語モデル(LLM)は、プロンプトによってタスクを実行するように訓練されているため、それらが割り当てる生の確率は文法的知識を完全に反映していないかもしれない。 本研究は, プロンプトとテンプレートを用いて, LLMからより正確な判断を導出する試みである。
  論文  参考訳（メタデータ） (2024-08-19T01:53:47Z)
• Using Grammar Masking to Ensure Syntactic Validity in LLM-based Modeling Tasks [0.996023506058745]
  文法マスキング(Grammar masking)は、与えられた文脈自由文法に対して構文的に正しいモデルを生成するための大きな言語モデルを導くために用いられる。 文法マスキングは,複数の言語モデルのモデリング能力を劇的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-07-08T17:19:59Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Language models align with human judgments on key grammatical constructions [24.187439110055404]
  確立したプラクティスを用いて,大規模言語モデル(LLM)のパフォーマンスを再評価する。 モデル全体の精度は高いが、人間の言語学的判断のきめ細かい変化も捉えることができる。
  論文  参考訳（メタデータ） (2024-01-19T19:36:54Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。