Fugu-MT 論文翻訳(概要): $\texttt{SEM-CTRL}$: Semantically Controlled Decoding

論文の概要: $\texttt{SEM-CTRL}$: Semantically Controlled Decoding

arxiv url: http://arxiv.org/abs/2503.01804v2
Date: Thu, 06 Mar 2025 16:07:43 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-07 15:06:36.334886
Title: $\texttt{SEM-CTRL}$: Semantically Controlled Decoding
Title（参考訳）: $\texttt{SEM-CTRL}$:Semantically Controlled Decoding
Authors: Mohammad Albinhassan, Pranava Madhyastha, Alessandra Russo,
Abstract要約: $texttSEM-CTRL$は、LLMデコーダに直接、リッチなコンテキスト依存制約とタスクおよびインスタンス固有のセマンティクスを強制する統一的なアプローチである。 texttSEM-CTRL$は、小さな訓練済みのLLMがより大きな変種や最先端の推論モデルよりも効率的に性能を向上することを可能にする。
参考スコア（独自算出の注目度）: 53.86639808659575
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Ensuring both syntactic and semantic correctness in Large Language Model (LLM) outputs remains a significant challenge, despite being critical for real-world deployment. In this paper, we introduce $\texttt{SEM-CTRL}$, a unified approach that enforces rich context-sensitive constraints and task- and instance-specific semantics directly on an LLM decoder. Our approach integrates token-level MCTS, which is guided by specific syntactic and semantic constraints. The constraints over the desired outputs are expressed using Answer Set Grammars -- a logic-based formalism that generalizes context-sensitive grammars while incorporating background knowledge to represent task-specific semantics. We show that our approach guarantees correct completions for any off-the-shelf LLM without the need for fine-tuning. We evaluate $\texttt{SEM-CTRL}$ on a range of tasks, including synthetic grammar synthesis, combinatorial reasoning, and planning. Our results demonstrate that $\texttt{SEM-CTRL}$ allows small pre-trained LLMs to efficiently outperform larger variants and state-of-the-art reasoning models (e.g., o1-preview) while simultaneously guaranteeing solution correctness.
Abstract（参考訳）: LLM(Large Language Model)アウトプットにおける構文的および意味的正当性を保証することは、現実のデプロイメントにおいて重要な問題であるにもかかわらず、依然として大きな課題である。本稿では、LLMデコーダに直接、リッチなコンテキスト依存制約やタスクやインスタンス固有のセマンティクスを適用する統一的なアプローチである$\texttt{SEM-CTRL}$を紹介する。本手法は,特定の構文的制約と意味的制約によって導かれるトークンレベルのMCTSを統合する。所望のアウトプットに対する制約はAnswer Set Grammarsを使って表現される。Answer Set Grammars – タスク固有のセマンティクスを表現するためにバックグラウンド知識を取り入れながら、コンテキストに敏感な文法を一般化するロジックベースの形式主義。提案手法は, 微調整を必要とせず, 既設のLCMの正しい完成を保証できることを示す。合成文法合成,組合せ推論,計画など,様々なタスクに対して$\texttt{SEM-CTRL}$を評価する。以上の結果から,$\texttt{SEM-CTRL}$は,大規模変種および最先端推論モデル(例:o1-preview)を効率よく向上し,同時に解の正しさを保証できる。

関連論文リスト

Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2025-04-07T18:30:18Z)
Improving Consistency in Large Language Models through Chain of Guidance [9.040736633675136]
Chain of Guidance (CoG)は、大規模言語モデル(LLM)から高度に一貫した出力を生成する多段階プロンプト技術である。我々は、一貫した入出力ペアからなる合成データセットを用いて、一貫した正しい出力を生成する。我々の微調整モデルは、ベースモデルに比べて2倍以上の一貫性があり、微調整プロセスで使用されていないデータセットに対して一貫した出力を生成することにより、強力な一般化能力を示す。
論文参考訳（メタデータ） (2025-02-21T20:41:37Z)
CRANE: Reasoning with constrained LLM generation [5.971462597321995]
制約付きデコードアルゴリズムであるCRANEを提案し,制約付き生成の正しさと制約なし生成の柔軟性のバランスをとる。 CRANEは最先端の制約付き復号化戦略と標準の制約なし復号化戦略の両方を大きく上回っている。
論文参考訳（メタデータ） (2025-02-13T08:23:42Z)
Enhancing LLM Character-Level Manipulation via Divide and Conquer [108.6908427615402]
大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる強力な一般化機能を示している。彼らは文字レベルの文字列操作において顕著な弱点を示し、文字削除、挿入、置換といった基本的な操作に苦労した。本稿では,トークンレベルの処理と文字レベルの操作のギャップを埋める新しい手法であるDivide and Conquerによる文字レベル操作を提案する。
論文参考訳（メタデータ） (2025-02-12T07:37:39Z)
Enhancing LLM-Based Text Classification in Political Science: Automatic Prompt Optimization and Dynamic Exemplar Selection for Few-Shot Learning [1.6967824074619953]
大型言語モデル (LLMs) は、政治学におけるテキスト分類をかなり約束する。本フレームワークは,自動プロンプト最適化,動的指数選択,コンセンサス機構を通じてLLM性能を向上させる。オープンソースのPythonパッケージ(PoliPrompt)がGitHubで公開されている。
論文参考訳（メタデータ） (2024-09-02T21:05:31Z)
$\forall$uto$\exists$val: Autonomous Assessment of LLMs in Formal Synthesis and Interpretation Tasks [21.12437562185667]
本稿では,形式構文を自然言語に翻訳する際のLLM評価のスケールアップ手法を提案する。我々は、文脈自由文法(CFG)を用いて、その場で配布外のデータセットを生成する。我々はまた、このパラダイムの実現可能性と拡張性を示すために、複数のSOTAクローズドおよびオープンソースLCMの評価を行う。
論文参考訳（メタデータ） (2024-03-27T08:08:00Z)
Guiding Enumerative Program Synthesis with Large Language Models [15.500250058226474]
本稿では,形式的合成ベンチマークを解くための大規模言語モデルの能力を評価する。ワンショット合成が失敗すると,新しい列挙合成アルゴリズムを提案する。形式的合成のためのスタンドアロンツールとしてGPT-3.5は,最先端の形式的合成アルゴリズムにより容易に性能が向上することがわかった。
論文参考訳（メタデータ） (2024-03-06T19:13:53Z)
kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning [50.40636157214161]
Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。 LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
論文参考訳（メタデータ） (2023-12-17T17:26:50Z)
Grammar-Constrained Decoding for Structured NLP Tasks without Finetuning [27.59524153097858]
文法制約付き復号法(GCD)は、大言語モデル(LM)の生成を制御するために用いられる。 GCDは一般に構造化NLPタスクの統一フレームワークとして機能する。文法制約付きLMは、制約なしLMよりも大幅に優れるか、タスク固有の微調整モデルよりも優れていることを示す。
論文参考訳（メタデータ） (2023-05-23T11:54:37Z)
SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2023-05-16T17:55:51Z)
Representation Deficiency in Masked Language Modeling [107.39136254013042]
我々は Masked Autoencoder アーキテクチャを事前トレーニングする MAE-LM を提案し,$tt[MASK]$トークンをエンコーダから除外する。 GLUE と SQuAD ベンチマークで微調整した場合,MAE-LM は,事前学習したモデルに対して,異なる事前学習設定とモデルサイズで一貫した性能を示した。
論文参考訳（メタデータ） (2023-02-04T01:54:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。