論文の概要: Narcissus: Program Synthesis Using Context-Aware LLM Approximations
- arxiv url: http://arxiv.org/abs/2608.25657v1
- Date: Wed, 26 Aug 2026 11:38:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.789224
- Title: Narcissus: Program Synthesis Using Context-Aware LLM Approximations
- Title(参考訳): Narcissus: 文脈対応LLM近似を用いたプログラム合成
- Abstract要約: 大規模言語モデル (LLM) はプログラミングに優れるが、タスクがターゲット言語を修正するときではない。
シンセサイザーであるNarcissusは,提案を構文木として保持し,候補プログラムのそれぞれの拡張をその文脈で評価する。
規則化の項はすべてのルールを到達可能に保ち、誤った提案は解を遅らせるが隠すことはできない。
- 参考スコア(独自算出の注目度): 8.261182037130403
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large language models (LLMs) excel at programming, but not when the task fixes the target language: prompted with a grammar rare in their training data, their programs usually break the grammar or fail the given specification. Enumerative synthesizers search the space of syntactically correct programs systematically guided by LLMs; the state of the art guides them by approximating LLM proposals into rule frequencies, which loses where each construct belongs and prunes every rule the proposals miss, exactly when the proposals are wrong. We present Narcissus, a synthesizer that keeps the proposals as syntax trees and scores each expansion of a candidate program in its context: does a proposal with the same surrounding structure continue the same way, and does the expansion rebuild a fragment the proposals repeat? A regularization term keeps every rule reachable, so wrong proposals delay the solution but cannot hide it. Across five domains and two search backends, Narcissus beats static guidance at every budget and consistently outperforms re-prompting the LLM to fix its own proposals; it reaches proposal-like programs an order of magnitude sooner and solves $40\%$ of ARC tasks where the raw proposals solve $13\%$, all without a single LLM call during search.
- Abstract(参考訳): 大規模言語モデル(LLM)はプログラミングに優れるが、タスクがターゲット言語を修正するときではなく、トレーニングデータに希少な文法によって、プログラムは通常文法を破り、与えられた仕様を破る。
列挙型シンセサイザーは、LLMによって体系的に導かれる構文的に正しいプログラムの空間を探索する; 最先端技術は、LSM提案を規則周波数に近似することでそれらを導く。
私たちは、提案を構文木として保持し、候補プログラムのそれぞれの拡張をそのコンテキストでスコアするシンセサイザーであるNarcissusを紹介します。
規則化の項はすべてのルールを到達可能に保ち、誤った提案は解を遅らせるが隠すことはできない。
5つのドメインと2つの検索バックエンドにまたがって、Narcisusはすべての予算で静的ガイダンスを破り、LLMが自身のプロポーザルを修正するのを継続的に上回っている。
関連論文リスト
- Overcoming the Weakest-Link Effect in LLM-Driven Program Optimization via Heterogeneous Edit Recombination [59.679182823718556]
HEROは、多様で重複しない原子編集を生成し、それから体系的に選択し、評価器スコアを用いてコヒーレントなプログラム改善に構成するプログラムである。
我々は,アルゴリズム問題,戦略ゲーム,LSMに基づくエージェントシステムの設計,ロボット経路計画などにわたるHEROを評価する。
論文 参考訳(メタデータ) (2026-07-31T02:05:45Z) - Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳(メタデータ) (2026-06-24T15:58:11Z) - Property-Guided LLM Program Synthesis for Planning [6.88204255655161]
評価後にプログラムを採点する代わりに、候補が正式に定義された性質を満たすかどうかを確認する。
このフィードバックは、プログラム生成数と評価コストの両方を大幅に削減します。
論文 参考訳(メタデータ) (2026-05-15T16:23:35Z) - $\
abla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
$nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。
$nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
論文 参考訳(メタデータ) (2026-03-05T08:42:54Z) - $\texttt{SEM-CTRL}$: Semantically Controlled Decoding [53.86639808659575]
$texttSEM-CTRL$は、LLMデコーダに直接、リッチなコンテキスト依存制約とタスクおよびインスタンス固有のセマンティクスを強制する統一的なアプローチである。
texttSEM-CTRL$は、小さな訓練済みのLLMがより大きな変種や最先端の推論モデルよりも効率的に性能を向上することを可能にする。
論文 参考訳(メタデータ) (2025-03-03T18:33:46Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-04T03:39:28Z) - HYSYNTH: Context-Free LLM Approximation for Guiding Program Synthesis [25.260063704712458]
大規模言語モデル(LLM)は、よく知らないDSLで完全に正しいプログラムを生成するのに失敗する。
これらの制約により、与えられたタスクに対する LLM 補完をタスク固有の文脈自由代用モデル学習に使用するハイブリッドアプローチを導入する。
このハイブリッドなアプローチを3つの領域で評価し、既存のプログラムシンセサイザーと同様に、無誘導探索とLCMからの直接サンプリングの両方より優れていることを示す。
論文 参考訳(メタデータ) (2024-05-24T18:45:51Z) - Leveraging Large Language Models for Exploiting ASR Uncertainty [16.740712975166407]
大規模な言語モデルは、書き起こしのための既製の音声認識システムに依存するか、あるいは内蔵された音声モダリティを備える必要がある。
我々は,高い単語誤り率でLLMの発話意図を理解する能力を制限する音声意図分類タスクに取り組む。
我々は,誤り発生1-best仮説に代えて,ASR仮説のn-bestリストでLLMを推し進めることを提案する。
論文 参考訳(メタデータ) (2023-09-09T17:02:33Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-05-16T17:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。