論文の概要: From Dependency to Compositionality: A Neurosymbolic Lifting of LLM Outputs via Combinatory Categorial Grammar
- arxiv url: http://arxiv.org/abs/2607.18961v2
- Date: Wed, 22 Jul 2026 18:29:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 14:12:06.740813
- Title: From Dependency to Compositionality: A Neurosymbolic Lifting of LLM Outputs via Combinatory Categorial Grammar
- Title(参考訳): 依存から構成性へ:コンビニティカテゴリー文法によるLLM出力のニューロシンボリックリフティング
- Abstract要約: 大規模言語モデル(LLM)は、プレフィックスから次のトークンを漸進的に予測することで、流動的なテキストを生成する。
自動回帰生成のプレフィックス駆動型型コンパイル力学は,元来,Y Combinatory Categorial Grammar(CCG)がサポート対象としていたインクリメンタル処理モデルと密接に一致している,と我々は主張する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) generate fluent text by incrementally predicting the next token from a prefix. Critics in the generative tradition argue that such systems lack genuine grammar; influential replies from the dependency-grammar perspective hold that LLM behavior is well described by local head-dependent structure built word by word. We argue that a sharper observation has been overlooked: the prefix-driven, type-completing dynamics of autoregressive generation align closely with the incremental processing model that Combinatory Categorial Grammar (CCG) was originally designed to support. On this basis we propose a neurosymbolic framework in which LLM outputs are lifted into typed compositional derivations -- not claiming that LLMs implement CCG internally, but that their outputs admit a principled, incremental, and auditable CCG reconstruction. Two consequences follow. First, through the Curry-Howard correspondence the lifting extends beyond natural language to the formal languages LLMs also produce -- programming languages such as Solidity, description-logic and query languages such as OWL and SQL -- with the type system varying and the architecture held fixed. Second, the lifting supports two layers of checking: a compositional layer that catches structural failures directly, and a content layer that checks the lifted structure against external knowledge sources, enabling the earliest possible flagging of hallucinated content. The account thereby requires of a producer not cognition but a prefix-driven generative profile. We close with a sketch of synchronous LLM-CCG coupling as one direction the framework opens.
- Abstract(参考訳): 大規模言語モデル(LLM)は、プレフィックスから次のトークンを漸進的に予測することで、流動的なテキストを生成する。
生成的伝統の批判者は、これらのシステムは真の文法を欠いていると主張しており、依存文法の観点からの影響力のある反応は、LLMの振る舞いは単語によって単語で構築された局所的な頭に依存した構造によってよく説明されている。
自己回帰生成のプレフィックス駆動型タイプコンプリートダイナミクスは,元来,Y Combinatory Categorial Grammar(CCG)がサポートしていたインクリメンタル処理モデルと密接に一致している。
本研究は, LLMの出力がCCGを内部的に実装するのではなく, 原則的, 漸進的, 監査可能なCCG再構成を認める, 型付けされた合成導出へと持ち上げられるニューロシンボリック・フレームワークを提案する。
2つの結果が続く。
第一に、Curry-Howardの対応を通じて、リフティングは自然言語を超えて形式言語に拡張されます。 LLMは、Solidity、記述論理、OWLやSQLのようなクエリ言語などのプログラミング言語も生成し、型システムは変化し、アーキテクチャは固定されています。
第2に、リフトは2つのチェック層をサポートする: 構造上の障害を直接キャッチする構成層と、リフトされた構造を外部の知識ソースに対してチェックするコンテンツ層である。
これにより、アカウントは、プロデューサの認知ではなく、プレフィックス駆動の生成プロファイルを必要とする。
フレームワークが開く方向の1つとして、同期LLM-CCG結合のスケッチをクローズする。
関連論文リスト
- Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳(メタデータ) (2026-06-24T15:58:11Z) - GS-Quant: Granular Semantic and Generative Structural Quantization for Knowledge Graph Completion [11.195093774337204]
GS-Quantは、KGエンティティのセマンティックコヒーレントで構造的に階層化された離散コードを生成する新しいフレームワークである。
コードブックに階層的な知識を注入するグラニュラ・セマンティック・エンハンスメント・モジュールを導入する。
生成構造再構成モジュールは、コードシーケンスに因果依存性を課し、独立した独立したユニットを構造化セマンティック記述子に変換する。
論文 参考訳(メタデータ) (2026-04-23T13:13:37Z) - Diagnosing CFG Interpretation in LLMs [17.612748633265202]
新しい文脈自由文法が与えられたら、LLMは構文的に妥当で、行動的に機能し、意味的に忠実な出力を生成することができるのか?
このフレームワークは、再帰深さ、表現の複雑さ、表面スタイルの制御されたストレステストを通じて、構文、振る舞い、セマンティクスを歪曲する。
論文 参考訳(メタデータ) (2026-04-22T17:43:05Z) - Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。
グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。
グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
論文 参考訳(メタデータ) (2026-01-13T03:35:18Z) - Last Layer Logits to Logic: Empowering LLMs with Logic-Consistent Structured Knowledge Reasoning [55.55968342644846]
大規模言語モデル(LLM)は、膨大な非構造化テキストの事前学習を通じて、自然言語推論タスクにおいて優れた性能を達成する。
LLM出力の論理的欠陥を修正するために,ロジット強化とロジットフィルタリングをコアモジュールとして組み込んだ textitLogits-to-Logic フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-11T07:08:27Z) - Large Language Models are Good Relational Learners [55.40941576497973]
本稿では,グラフニューラルネットワーク(GNN)に基づくエンコーダを用いて,大規模言語モデル(LLM)のための構造化リレーショナルプロンプトを生成する新しいアーキテクチャであるRel-LLMを紹介する。
従来のテキストベースのシリアライズ手法とは異なり,本手法はデータベース固有の関係構造を保ちながら,LLMが複雑なエンティティ関係を処理・推論することを可能にする。
論文 参考訳(メタデータ) (2025-06-06T04:07:55Z) - Large Language Models as Quasi-crystals: Coherence Without Repetition in Generative Text [0.0]
エッセイは大規模言語モデル(LLM)と準結晶の類似性を提案し、局所的な制約によって生成される周期的反復を伴わないグローバルコヒーレンスを示すシステムである。
準結晶の歴史に基づいて、生成言語における代替的なコヒーレンスモード、すなわち反復や象徴的意図を伴わない制約に基づく組織を強調している。
このエッセイは、既存のメソッドを拒絶するのではなく、意味論よりも構造に根ざした解釈の新たな軸を提案することによって、大きな言語モデルに関する現在の議論を再考することを目的としている。
論文 参考訳(メタデータ) (2025-04-16T11:27:47Z) - Context-Alignment: Activating and Enhancing LLM Capabilities in Time Series [3.453940014682793]
本研究では,Large Language Models (LLMs) に習熟した言語環境において,時系列(TS)データを言語成分と整合させるコンテキストアライメントを提案する。
このようなコンテキストレベルのアライメントは、DSCA-GNN(Dual-Scale Context-Alignment GNN)によって達成される構造的アライメントと論理的アライメントを含む。
大規模な実験は、特に少数ショットおよびゼロショット予測において、DeCAの有効性とタスク間のコンテキストアライメントの重要性を示している。
論文 参考訳(メタデータ) (2025-01-07T12:40:35Z) - Filter-then-Generate: Large Language Models with Structure-Text Adapter for Knowledge Graph Completion [20.973071287301067]
大規模言語モデル(LLM)は、膨大な固有の知識と優れた意味理解能力を示す。
実証的な証拠は、LLMは従来の知識グラフ補完手法よりも一貫して性能が悪いことを示唆している。
そこで本研究では,これらの課題に対処するために,FtGという命令チューニングに基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2024-12-12T09:22:04Z) - RuAG: Learned-rule-augmented Generation for Large Language Models [62.64389390179651]
本稿では,大量のオフラインデータを解釈可能な一階述語論理規則に自動抽出する新しいフレームワーク,RuAGを提案する。
我々は,自然言語処理,時系列,意思決定,産業タスクなど,公共および民間の産業タスクに関する枠組みを評価する。
論文 参考訳(メタデータ) (2024-11-04T00:01:34Z) - DECIDER: A Dual-System Rule-Controllable Decoding Framework for Language Generation [57.07295906718989]
制約付き復号法は,事前訓練された大言語(Ms と PLMs)が生成するテキストの意味やスタイルを,推論時に様々なタスクに対して制御することを目的としている。
これらの方法は、しばしば、欲求的かつ明示的にターゲットを選択することによって、もっともらしい連続を導く。
認知二重プロセス理論に着想を得て,新しい復号化フレームワークDECDERを提案する。
論文 参考訳(メタデータ) (2024-03-04T11:49:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。