論文の概要: Beyond Language: Format-Agnostic Reasoning Subspaces in Large Language Models
- arxiv url: http://arxiv.org/abs/2605.09496v1
- Date: Sun, 10 May 2026 12:06:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.279763
- Title: Beyond Language: Format-Agnostic Reasoning Subspaces in Large Language Models
- Title（参考訳）: 言語を超えて: 大規模言語モデルにおけるフォーマットに依存しないサブ空間
- Authors: Aojie Yuan, Zhiyuan Su,
- Abstract要約: 大規模言語モデルがシンボルシステム間で共通の内部基質を共有することを示す。
中層にFARS(Format-Agnostic Reasoning Subspace)が存在することを示す。
また、宣言的-手続き的非対称性も発見する:表現は、いずれかまたはコードよりも、散文と数学の間でより互換性がある。
- 参考スコア（独自算出の注目度）: 0.30386424162918557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models represent the same reasoning in vastly different surface forms -- English prose, Python code, mathematical notation -- yet whether they share a common internal substrate across these symbolic systems remains unknown. We introduce the TriForm Benchmark (18 concepts x 6 forms x 3 instances = 324 stimuli) and study five LLMs (1.6B-8B) across three architecture families. Using permutation-corrected RSA, cross-form probing, and activation patching, we find converging evidence for a Format-Agnostic Reasoning Subspace (FARS) in middle layers. We make FARS concrete: concept-centroid PCA extracts a 10-dimensional subspace that amplifies concept structure 3x while suppressing form information to near zero. Replacing only these 10 dimensions during cross-form patching preserves 90-96% of model output -- far exceeding both full activation replacement (44-56%) and variance-maximizing PCA (60-74%) -- while ablating them causes targeted disruption. FARS generalizes to held-out concepts and converges across architectures (CCA > 0.79 for all model pairs), providing within-modality evidence for the Platonic Representation Hypothesis. We further discover a declarative-procedural asymmetry: representations are far more compatible between prose and mathematics than between either and code, suggesting that the critical axis of divergence is not linguistic vs. formal but declarative vs. procedural.
- Abstract（参考訳）: 大規模な言語モデルは、英語の散文、Pythonのコード、数学的表記など、非常に異なる曲面形式で同じ推論を表現しているが、これらの記号体系全体で共通の内部基質を共有しているかどうかは不明だ。
我々はTriForm Benchmark (18 concept x 6 form x 3 instance = 324 stimuli)を導入し、3つのアーキテクチャファミリにわたる5つの LLM (1.6B-8B) について検討する。
置換補正RSA, クロスフォームプローブ, アクティベーションパッチを用いて, 中層における Format-Agnostic Reasoning Subspace (FARS) の収束する証拠を見出した。
概念センタロイドPCAは10次元の部分空間を抽出し,概念構造3xを増幅し,形状情報をほぼゼロに抑える。
クロスフォームパッチング中の10次元のみをリプレースすることで、90～96%のモデル出力が保存され、完全なアクティベーションリプレース(44～56%)と分散最大化PCA(60～74%)をはるかに上回っている。
FARSは保留概念に一般化し、アーキテクチャ(全てのモデル対に対してCCA > 0.79)に収束し、プラトン表現仮説のモダリティ内証拠を提供する。
さらに、宣言的・手続き的非対称性が発見される:表現は、散逸の臨界軸が言語的対、形式的対、宣言的対、手続き的であることを示唆する。
関連論文リスト
- The Topology of Multimodal Fusion: Why Current Architectures Fail at Creative Cognition [0.0]
本稿では、パラメトリックではなくトポロジカルな現在のマルチモーダルAIアーキテクチャの限界を特定する。
十字架の枠組みは、Xang を病理的交点に配置し、両軸に沿って 2 つの huacai (変換と切断) を実行する。
これは二重層力学を生み出す:チュアンフア(自然の出来事としての創造的変容)とフアカイ(制度化して繰り返し形にする)である。
トポロジカル正規化を用いたLIPによるUOO実装,エラー型計量を用いたANALOGYベンチマーク,アーキタイプ-TOP3層ベンチマークによるクロスシビライズ型トポロジカル同型試験を提案する。
論文 参考訳（メタデータ） (2026-04-06T06:23:55Z) - Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models [0.0]
表現幾何学は3大領域にわたって一貫して対数圧縮的であることを示す。
1つのモデルは人間の範囲ウェバー分率(WF = 0.20)を生成し、もう1つのモデルはそうではない。
因果干渉は層解離を示す:初期の層は大きさ処理(4.1xの特異性)に機能的に関連付けられ、その後の層は幾何学が最強である。
論文 参考訳（メタデータ） (2026-03-21T04:38:30Z) - Latent Semantic Manifolds in Large Language Models [0.0]
本研究では,大規模言語モデルに隠れた状態を潜在意味多様体上の点として解釈する数学的枠組みを開発する。
我々は2つの定理を証明し、任意の有限語彙に対する歪みに対する速度歪みの低い境界と、表現可能性ギャップに対する線形体積スケーリング法則を証明した。
本稿では,アーキテクチャ設計,モデル圧縮,復号化戦略,スケーリング法則について論じる。
論文 参考訳（メタデータ） (2026-03-17T13:05:56Z) - A Geometric Taxonomy of Hallucinations in LLMs [0.2538209532048866]
大きな言語モデルにおける「幻覚」という用語は、埋め込み空間における異なる幾何学的シグネチャと異なる現象を混同している。
本稿では,不信感,信頼感,事実的誤りの3つのタイプを識別する分類法を提案する。
この貢献は、埋め込みに基づく検出の範囲を明確にした幾何学的分類法である。
論文 参考訳（メタデータ） (2026-01-26T22:07:09Z) - Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space [56.37266873329401]
大規模言語モデル (LLM) は、高度に一様でない情報密度を示す言語にもかかわらず、全てのトークンに一様計算を適用する。
我々は,潜在表現から意味境界を学習し,トークンから推論がより効率的である圧縮概念空間へ移行する階層型言語モデリングフレームワークである$textbfDynamic Large Concept Models (DLCM)$を提案する。
論文 参考訳（メタデータ） (2025-12-31T04:19:33Z) - KELPS: A Framework for Verified Multi-Language Autoformalization via Semantic-Syntactic Alignment [5.295540405828356]
KELPSは、非公式データを形式言語に翻訳、合成、フィルタリングするための反復的なフレームワークである。
まず、自然言語を知識方程式(KEs)に翻訳する。
次に、構文構造と意味的意味の両方を保持する厳密に定義された規則により、ターゲット言語に変換する。
このプロセスは6万以上の問題からなる並列コーパスを生み出した。
論文 参考訳（メタデータ） (2025-07-11T15:05:06Z) - Cross-Modal and Uncertainty-Aware Agglomeration for Open-Vocabulary 3D Scene Understanding [58.38294408121273]
CUA-O3Dと呼ばれるオープン語彙3次元シーン理解のためのクロスモーダル・不確実性認識アグリゲーションを提案する。
提案手法は,(1)空間認識型視覚基盤モデルの幾何学的知識とともに,VLMのセマンティックな先入観を取り入れること,(2)モデル固有の不確かさを捉えるために,新しい決定論的不確実性推定を用いること,の2つの課題に対処する。
論文 参考訳（メタデータ） (2025-03-20T20:58:48Z) - A Geometric Notion of Causal Probing [85.49839090913515]
線形部分空間仮説は、言語モデルの表現空間において、動詞数のような概念に関するすべての情報が線形部分空間に符号化されていることを述べる。
理想線型概念部分空間を特徴づける内在的基準のセットを与える。
2つの言語モデルにまたがる少なくとも1つの概念に対して、この概念のサブスペースは、生成された単語の概念値を精度良く操作することができる。
論文 参考訳（メタデータ） (2023-07-27T17:57:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。