論文の概要: Syntactic Control of Language Models by Posterior Inference

• arxiv url: http://arxiv.org/abs/2506.07154v1
• Date: Sun, 08 Jun 2025 14:01:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.692663
• Title: Syntactic Control of Language Models by Posterior Inference
• Title（参考訳）: 後部推論による言語モデルの構文制御
• Authors: Vicky Xefteri, Tim Vieira, Ryan Cotterell, Afra Amini,
• Abstract要約: 言語モデルによって生成されたテキストの構文構造を制御することは、明快さ、スタイリスティックな一貫性、解釈可能性を必要とするアプリケーションにとって重要である。 後部推論に基づくサンプリングアルゴリズムは、生成中に対象の選挙区構造を効果的に強制することができると論じる。 提案手法では,提案分布からのサンプリングにより後続分布を推定するモンテカルロ法と,各生成したトークンが所望の構文構造に整合することを保証する統語タグを併用する。
• 参考スコア（独自算出の注目度）: 53.823006836309695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controlling the syntactic structure of text generated by language models is valuable for applications requiring clarity, stylistic consistency, or interpretability, yet it remains a challenging task. In this paper, we argue that sampling algorithms based on the posterior inference can effectively enforce a target constituency structure during generation. Our approach combines sequential Monte Carlo, which estimates the posterior distribution by sampling from a proposal distribution, with a syntactic tagger that ensures that each generated token aligns with the desired syntactic structure. Our experiments with GPT2 and Llama3-8B models show that with an appropriate proposal distribution, we can improve syntactic accuracy, increasing the F1 score from $12.31$ (GPT2-large) and $35.33$ (Llama3-8B) to about $93$ in both cases without compromising the language model's fluency. These results underscore both the complexity of syntactic control and the effectiveness of sampling algorithms, offering a promising approach for applications where precise control over syntax is essential.
• Abstract（参考訳）: 言語モデルによって生成されたテキストの構文構造を制御することは、明快さ、スタイリスティックな一貫性、解釈可能性を必要とするアプリケーションにとって価値があるが、それでも難しい課題である。 本稿では, 後方推論に基づくサンプリングアルゴリズムは, 生成中の対象選挙区構造を効果的に適用できると主張している。 提案手法では,提案分布からのサンプリングにより後続分布を推定するモンテカルロ法と,各生成したトークンが所望の構文構造に整合することを保証する統語タグを併用する。 GPT2およびLlama3-8Bモデルを用いた実験により、適切な提案分布により、F1スコアを12.31ドル (GPT2-large) と35.33ドル (Llama3-8B) から約9,3ドル (Llama3-8B) に増やすことができる。 これらの結果は、構文制御の複雑さとサンプリングアルゴリズムの有効性を両立させ、構文の正確な制御が不可欠であるアプリケーションに有望なアプローチを提供する。

関連論文リスト

• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• UMB@PerAnsSumm 2025: Enhancing Perspective-Aware Summarization with Prompt Optimization and Supervised Fine-Tuning [8.095763327154335]
  本稿では,パーアンサム共有タスク(PerAnsSumm Shared Task)について,パースペクティブ・スパン識別とパースペクティブ・アウェア・サマリゼーションを包含するアプローチを提案する。 スパン識別には、平均化によって3つのトランスフォーマーモデルを統合するアンサンブル学習を採用し、個々のモデルの強みを利用する。 要約のために、キーフレーズを組み込んだ一連のCoT(Chain-of-Thought)を設計し、要約生成を管理可能なステップに導く。
  論文  参考訳（メタデータ） (2025-03-14T06:29:51Z)
• Combinatorial Optimization via LLM-driven Iterated Fine-tuning [47.66752049943335]
  我々は,Large Language Models (LLMs) を利用して,柔軟で文脈に依存しない制約を最適化に統合する新しい方法を提案する。 本フレームワークは, 局所的制約と厳密なグローバル最適化とのバランスを, ベースラインサンプリング法よりも効率的に行う。
  論文  参考訳（メタデータ） (2025-03-10T04:58:18Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• On the N-gram Approximation of Pre-trained Language Models [17.764803904135903]
  大規模事前学習型言語モデル(PLM)は、様々な自然言語理解(NLU)タスクにおいて顕著な性能を示している。 本研究では,自動音声認識(ASR)における言語モデリングにおけるPLMの有用性について検討する。 我々は,GPT-2をn-gramモデルに近似するための大規模テキストサンプリングと確率変換の適用について比較した。
  論文  参考訳（メタデータ） (2023-06-12T06:42:08Z)
• Syntactically Robust Training on Partially-Observed Data for Open Information Extraction [25.59133746149343]
  オープン情報抽出モデルは十分な監督力を持った有望な結果を示している。 そこで本研究では,統語論的に頑健な学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-17T12:39:13Z)
• Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
  私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。 提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
  論文  参考訳（メタデータ） (2020-10-12T17:02:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。