論文の概要: Weave of Formal Thought

• arxiv url: http://arxiv.org/abs/2606.25987v1
• Date: Wed, 24 Jun 2026 15:58:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.391039
• Title: Weave of Formal Thought
• Title（参考訳）: フォーマル思考の織り
• Authors: Alexandre Bouayad,
• Abstract要約: WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) attain remarkable surface fluency on code, yet they neither formally guarantee the syntactic validity of their output nor leverage the hierarchical structure defining the target language. While existing constrained-decoding frameworks address the former, they operate under rigid assumptions that preclude critical lexical mechanisms -- including context-sensitive lexing, maximal-munch tokenization, and keyword extraction -- and only approximate vocabulary masking, sacrificing completeness. For the latter, code LLMs typically inject grammatical structure via predetermined policies rather than learning which structural information to expose. In this work, we introduce Weave of Formal Thought (WoFT), a paradigm uniting rigorous syntactic validation with learned structural representations. First, we present a formal engine and constrained decoder that is sound and complete with respect to the full Tree-sitter specification. By augmenting generalized LR (GLR) parsing with a speculative-lexing construction that maintains concurrent lexer-state hypotheses synchronized with a GLR graph-structured stack, our decoder admits every subword token extending to a valid program prefix and rejects all others. Second, we present a latent-variable fine-tuning method training the language model to interleave non-terminal grammar symbols directly into generation. Utilizing the reweighted wake-sleep (RWS) algorithm to optimize the importance-weighted evidence lower bound (IW-ELBO) of the surface text, the model learns to selectively retain formal derivations as an adaptive structural scratchpad. For Python, fine-tuning StarCoder2-3B with our RWS objective reduces per-token cross-entropy by 14.3% relative to a text-only SFT baseline, demonstrating that discretionary latent syntax recovers critical structural information that flat autoregressive training discards.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、コード上で顕著な表面流布を達成するが、その出力の構文的妥当性を正式に保証したり、ターゲット言語を定義する階層構造を活用することもできない。 既存の制約付きデコードフレームワークは前者に対応するが、それらは、文脈に敏感なレックス、最大値のトークン化、キーワード抽出など、重要な語彙機構を妨害する厳格な仮定の下で動作し、語彙マスクのみを近似し、完全性を犠牲にする。 後者の場合、コードLLMはどの構造情報を公開すべきかを学ぶのではなく、所定のポリシーを介して文法構造を注入する。 本稿では、厳密な構文検証と学習された構造表現を結合したパラダイムであるWoFT(Weave of Formal Thought)を紹介する。 まず,形式エンジンと制約付きデコーダを提案する。 一般化LR(GLR)解析をGLRグラフ構造化スタックと同期した並列レキサ状態仮説を維持する投機的レキシング構造で拡張することにより、デコーダは有効なプログラムプレフィックスに拡張された全てのサブワードトークンを認め、他の全てを拒否する。 第二に、非終端文法記号を直接生成にインターリーブするために言語モデルを訓練する潜時可変微調整法を提案する。 重み付きウェイクスリープ(RWS)アルゴリズムを用いて、表層テキストの重要度重み付きエビデンスローバウンド(IW-ELBO)を最適化し、適応的な構造的スクラッチパッドとして形式的導出を選択的に保持することを学ぶ。 テキストのみのSFTベースラインと比較して、RWS目標のStarCoder2-3Bを微調整することで、トーケンのクロスエントロピーが14.3%削減される。

関連論文リスト

• Tokenization, Fusion and Decoupling: Bridging the Granularity Mismatch Between Large Language Models and Knowledge Graphs [20.946228883628013]
  我々は,効率的な全空間予測を実現するために専用エンティティトークンを使用する新しいフレームワークKGTを提案する。 まず、専用エンティティトークンのレベルで特徴表現を構築するために、特殊トークン化を導入します。 次に、事前学習された構造的特徴とテキスト的特徴を、関係誘導ゲーティング機構を介して統合された埋め込みに融合する。
  論文  参考訳（メタデータ） (2026-02-26T07:20:40Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• TreeDiff: AST-Guided Code Generation with Diffusion LLMs [27.111814602726227]
  本稿では,抽象構文木(AST)の構造的先行を記述プロセスに組み込んだ構文対応拡散フレームワークを提案する。 その結果,構文認識の破損は構文的正当性,再構成精度,不明なコードパターンへの一般化を著しく改善することが示された。
  論文  参考訳（メタデータ） (2025-08-02T19:46:09Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。