Fugu-MT 論文翻訳(概要): Weave of Formal Thought

論文の概要: Weave of Formal Thought

arxiv url: http://arxiv.org/abs/2606.25987v1
Date: Wed, 24 Jun 2026 15:58:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-25 17:05:30.391039
Title: Weave of Formal Thought
Title（参考訳）: フォーマル思考の織り
Abstract要約: WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
参考スコア（独自算出の注目度）: 51.56484100374058
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) attain remarkable surface fluency on code, yet they neither formally guarantee the syntactic validity of their output nor leverage the hierarchical structure defining the target language. While existing constrained-decoding frameworks address the former, they operate under rigid assumptions that preclude critical lexical mechanisms -- including context-sensitive lexing, maximal-munch tokenization, and keyword extraction -- and only approximate vocabulary masking, sacrificing completeness. For the latter, code LLMs typically inject grammatical structure via predetermined policies rather than learning which structural information to expose. In this work, we introduce Weave of Formal Thought (WoFT), a paradigm uniting rigorous syntactic validation with learned structural representations. First, we present a formal engine and constrained decoder that is sound and complete with respect to the full Tree-sitter specification. By augmenting generalized LR (GLR) parsing with a speculative-lexing construction that maintains concurrent lexer-state hypotheses synchronized with a GLR graph-structured stack, our decoder admits every subword token extending to a valid program prefix and rejects all others. Second, we present a latent-variable fine-tuning method training the language model to interleave non-terminal grammar symbols directly into generation. Utilizing the reweighted wake-sleep (RWS) algorithm to optimize the importance-weighted evidence lower bound (IW-ELBO) of the surface text, the model learns to selectively retain formal derivations as an adaptive structural scratchpad. For Python, fine-tuning StarCoder2-3B with our RWS objective reduces per-token cross-entropy by 14.3% relative to a text-only SFT baseline, demonstrating that discretionary latent syntax recovers critical structural information that flat autoregressive training discards.
Abstract（参考訳）: 大規模言語モデル (LLM) は、コード上で顕著な表面流布を達成するが、その出力の構文的妥当性を正式に保証したり、ターゲット言語を定義する階層構造を活用することもできない。既存の制約付きデコードフレームワークは前者に対応するが、それらは、文脈に敏感なレックス、最大値のトークン化、キーワード抽出など、重要な語彙機構を妨害する厳格な仮定の下で動作し、語彙マスクのみを近似し、完全性を犠牲にする。後者の場合、コードLLMはどの構造情報を公開すべきかを学ぶのではなく、所定のポリシーを介して文法構造を注入する。本稿では、厳密な構文検証と学習された構造表現を結合したパラダイムであるWoFT(Weave of Formal Thought)を紹介する。まず,形式エンジンと制約付きデコーダを提案する。一般化LR(GLR)解析をGLRグラフ構造化スタックと同期した並列レキサ状態仮説を維持する投機的レキシング構造で拡張することにより、デコーダは有効なプログラムプレフィックスに拡張された全てのサブワードトークンを認め、他の全てを拒否する。第二に、非終端文法記号を直接生成にインターリーブするために言語モデルを訓練する潜時可変微調整法を提案する。重み付きウェイクスリープ(RWS)アルゴリズムを用いて、表層テキストの重要度重み付きエビデンスローバウンド(IW-ELBO)を最適化し、適応的な構造的スクラッチパッドとして形式的導出を選択的に保持することを学ぶ。テキストのみのSFTベースラインと比較して、RWS目標のStarCoder2-3Bを微調整することで、トーケンのクロスエントロピーが14.3%削減される。

関連論文リスト

Sentence Splitter: Uncovering Latent Factual Structure for Self-Supervised Learning [0.0]
Sentence SplitterはT5ベースのエンコーダ-デコーダアーキテクチャ上に構築された自己教師型フレームワークである。提案手法は,プレフィックス(頭)と実際の完了(尾)のセマンティック境界を同定する。構造化テキストと自然発生テキストの両方の実験では、提案されたスプリッターが合成テンプレートを超えて一般化されることが示されている。
論文参考訳（メタデータ） (2026-07-22T07:30:39Z)
Empirical Study for Structured Output Control in LLMs for Software Engineering [13.096361151631427]
期待されるフォーマットに反する意味論的に正しい出力は、システムの観点から、間違った答えと区別できないものである。本報告では,4つのSEタスクにまたがる構造的信頼性の体系的評価を行う。 LLM駆動誤差における構造的忠実度と意味的正しさを両立させるアプローチの必要性を強調した。
論文参考訳（メタデータ） (2026-06-08T12:13:58Z)
$\mathcal{S}^2$IT: Stepwise Syntax Integration Tuning for Large Language Models in Aspect Sentiment Quad Prediction [51.165432266846096]
構文構造情報は、大言語モデル(LLM)の生成パラダイムにおいて未利用である S2ITは、多段階のチューニングプロセスを通じて、構文構造知識をLLMに徐々に統合する。実験により、S2ITは複数のデータセットにわたる最先端のパフォーマンスを大幅に改善することが示された。
論文参考訳（メタデータ） (2026-04-25T13:24:29Z)
Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge [50.009682083079205]
我々は,文脈的リコールが単独で事前学習から生じるかどうかを検討する。 ICL評価とは異なる暗黙的推論を必要とするタスクの微調整は、文脈的リコールの出現を誘発することを示す。メカニカル・インサイト(メカニカル・インサイト)では,現実から文脈への遷移を再現するアテンションオンリー・トランスフォーマーの構成を導出する。
論文参考訳（メタデータ） (2026-03-21T22:46:55Z)
Tokenization, Fusion and Decoupling: Bridging the Granularity Mismatch Between Large Language Models and Knowledge Graphs [20.946228883628013]
我々は,効率的な全空間予測を実現するために専用エンティティトークンを使用する新しいフレームワークKGTを提案する。まず、専用エンティティトークンのレベルで特徴表現を構築するために、特殊トークン化を導入します。次に、事前学習された構造的特徴とテキスト的特徴を、関係誘導ゲーティング機構を介して統合された埋め込みに融合する。
論文参考訳（メタデータ） (2026-02-26T07:20:40Z)
Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
論文参考訳（メタデータ） (2026-01-13T03:35:18Z)
TreeDiff: AST-Guided Code Generation with Diffusion LLMs [27.111814602726227]
本稿では,抽象構文木(AST)の構造的先行を記述プロセスに組み込んだ構文対応拡散フレームワークを提案する。その結果,構文認識の破損は構文的正当性,再構成精度,不明なコードパターンへの一般化を著しく改善することが示された。
論文参考訳（メタデータ） (2025-08-02T19:46:09Z)
Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-24T17:56:46Z)
Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部の動作や推論メカニズムを理解することは大きな課題である。本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。我々は、GPTのような生成モデルがCFG定義階層を正確に学習し、推論し、それに基づいて文を生成することを実証する。
論文参考訳（メタデータ） (2023-05-23T04:28:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。