論文の概要: Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent
- arxiv url: http://arxiv.org/abs/2605.26431v1
- Date: Tue, 26 May 2026 01:36:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:41.563387
- Title: Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent
- Title（参考訳）: LLMにおけるミニマリスト位相構造の提案--ユニバーサル依存が表現できないこと
- Authors: Yuanhao Chen, Peter Chin,
- Abstract要約: 構造プローブはUD(Universal Dependencies)を訓練するが、これは位相境界や位相内部結合のような形式-対称性の抽象化を符号化しない。
本研究では, 分布事前学習により, UD 以外の形式的シンタクティック抽象化と整合した表現を導出できることを示す。
- 参考スコア（独自算出の注目度）: 4.486629113012585
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Structural probes train on Universal Dependencies (UD), which does not encode formal-syntactic abstractions such as phase boundaries or phase-internal cohesion. Whether large language models (LLMs) encode these remains an open question that UD-based probing cannot answer by construction. We evaluate structural probes on wh-movement stimuli where UD distances are invariant across conditions by design -- any non-zero effect therefore reflects structure beyond UD. The three conditions -- bare small clause, infinitival, and finite -- are ordered by the number of Minimalist Program (MP) phase boundaries the wh-element crosses. Across 13 LLMs from four families, we find a phase-count gradient on a cross-clause pair (12/13 models) and a 13/13 sign asymmetry on a within-clause pair whose UD distance is identical across conditions -- the latter specifically predicted by phase-internal cohesion, an MP abstraction invisible to UD by construction. Activation patching confirms the representations are causally active in 12/13 models. These findings suggest that distributional pretraining can induce representations aligned with formal-syntactic abstractions beyond the reach of annotation-based probing; UD-grounded probes provide a lower bound on syntactic encoding, not an upper bound.
- Abstract（参考訳）: 構造プローブはUD(Universal Dependencies)を訓練するが、これは位相境界や位相内部結合のような形式-対称性の抽象化を符号化しない。
大規模言語モデル(LLM)がこれらを符号化するかどうかは、UDベースの探索が構築によっては答えられないというオープンな疑問である。
我々は、UD距離が設計によって条件によって不変であるような波動刺激に関する構造プローブを評価し、非ゼロ効果はUD以外の構造を反映する。
3つの条件 -- 素小節、無限節、有限節 -- は、ミニマリストプログラム(MP)の位相境界の数によって順序づけられる。
4つの家系の13個のLLMのうち、12/13モデルでの位相数勾配と、UD距離が条件によって同じである13/13の符号非対称性が、構成によってUDに見えないMP抽象化である相内凝集によって具体的に予測される。
アクティベーションパッチは、表現が12/13モデルで因果的にアクティブであることを確認する。
これらの結果から, 分布事前学習は, アノテーションに基づく探究の範囲を超えて, 形式的シンタクティック抽象と整合した表現を誘導する可能性が示唆された。
関連論文リスト
- Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。
既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。
動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-25T09:57:46Z) - Metric--Phase Fields: Decoupling Distance and Sign for Thin-Structure Reconstruction from Unoriented Point Clouds [67.30236447078187]
本稿では,距離近接を位相相から分離する非結合な暗黙的表現であるMetric-Phase Fields (MPFs)を紹介する。
合成および走査された薄殻形状と薄板形状の両方の実験により、MPFは最近のSDF法よりも薄くて層状構造を忠実に保存することが示された。
論文 参考訳（メタデータ） (2026-05-25T07:08:57Z) - The Deterministic Horizon: Impossibility Results as Design Specifications for Trustworthy AI Systems [0.0]
この論文は、好奇心から不合理性の結果を設計規則に変える。
そのフラッグシップとなる結果は、アーキテクチャだけで設定された精度の高い天井を証明している。
同じ引数がサブフィールドにまたがって再キャストされる。
論文 参考訳（メタデータ） (2026-05-21T20:48:35Z) - Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。
本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。
実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
論文 参考訳（メタデータ） (2026-05-16T07:50:13Z) - Path-Dependent Denoising: A Non-Conservative Field Perspective on Order Collapse in Diffusion Language Models [0.0]
拡散言語モデル(DLM)は自己回帰生成の代替となる構造を提供する。
高速DLM復号法は命令に強く敏感であり、しばしば自己回帰的な軌道に向かってドリフトする。
順序付き擬似結合と局所的認知循環を定義することで、この見解を定式化する。
論文 参考訳（メタデータ） (2026-05-10T04:00:52Z) - PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。
最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。
PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
論文 参考訳（メタデータ） (2026-04-02T14:04:53Z) - Probing the Latent World: Emergent Discrete Symbols and Physical Structure in Latent Representations [0.0]
JEPA(Joint Embedding Predictive Architectures)で訓練されたビデオワールドモデルは、ピクセルの再構成ではなく、潜在空間のマスキング領域を予測することによってリッチな表現を得る。
この経路は生成モデルの視覚的検証を除去し、構造的解釈可能性のギャップを生じさせる。
本稿では,AIM(AIM)フレームワークを受動的量子化プローブとして,V-JEPA2連続潜時ベクトルをタスク固有の監督やエンコーダの変更なしに離散シンボルシーケンスに変換する軽量なボキャブラリフリープローブとして提案する。
論文 参考訳（メタデータ） (2026-03-20T01:30:59Z) - Fractals made Practical: Denoising Diffusion as Partitioned Iterated Function Systems [0.0]
DDIMの逆チェーンがPIFS(Partitioned Iterated Function System)として動作することを示す。
PIFSは、拡散モデルスケジュール、アーキテクチャ、および訓練目標を記述するための統一設計言語として機能する。
論文 参考訳（メタデータ） (2026-03-13T15:15:50Z) - On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation [51.56484100374058]
このような情報条件の相互作用パターンを振る舞い依存として定式化する。
これにより、$$-behavioural equivalenceというプローブ相対的な概念と、政治内行動距離が導かれる。
その結果、共通政策変換の下でプローブ条件の挙動分離が保存されない構造条件が明らかになった。
論文 参考訳（メタデータ） (2026-02-24T22:55:21Z) - WavePhaseNet: A DFT-Based Method for Constructing Semantic Conceptual Hierarchy Structures (SCHS) [0.0]
本稿では,大規模言語モデルにおけるトランスフォーマー/アテンション機構を再構成する。
GPT-4の24,576次元埋め込み空間は、言語自己相似性とZipfの法則に基づく1/fスペクトル構造を示す。
コホモロジー整合性制御(Cohomological Consistency Control) 局所窓の重なり合うコホモロジー正則化によって構築される最小の埋め込み空間は、グラフ構造とコチェーン複体を定義することができる。
論文 参考訳（メタデータ） (2026-02-16T03:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。