論文の概要: The Geometry of Logic: Stratification Induces Semantic Structure and Robust Reasoning

• arxiv url: http://arxiv.org/abs/2609.32927v1
• Date: Sat, 26 Sep 2026 20:35:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:54:54.298211
• Title: The Geometry of Logic: Stratification Induces Semantic Structure and Robust Reasoning
• Title（参考訳）: 論理の幾何学:階層化は意味的構造とロバスト推論を誘導する
• Abstract要約: textbfSTRAT(textbfSTratified textbfRegisters textbfAnd textbfTypes)を導入する。 算術では、STRATはTransformerベースラインに対して中央値のOOD誤差を35倍に削減する。
• 参考スコア（独自算出の注目度）: 0.7073660025974879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based language models perform well on symbolic tasks, yet it remains unclear whether they learn generalizable rules or rely on statistical shortcuts. Mechanistic studies link algorithmic behavior to structured internal representations, motivating the hypothesis that robust reasoning benefits from separating values from the types that control their manipulation. Can making this separation an architectural primitive improve the learnability and generalization of logical mechanisms? We introduce \textbf{STRAT} (\textbf{ST}ratified \textbf{R}egisters \textbf{A}nd \textbf{T}ypes), which partitions the residual stream into orthogonal Data and Type subspaces and uses Type-based attention and gating to govern Data transformations. Controlled arithmetic ablations identify three failure modes associated with data-control interference: the Linear Trap, Gradient Wall, and Open Gate Trap. Mechanistic analysis reveals interpretable logical structure, and in arithmetic, STRAT reduces median OOD error 35-fold relative to a Transformer baseline. On each of 11 datasets spanning 10 tasks, STRAT outperforms the Transformer baseline in mean accuracy, by 26 percentage points on average, with both models trained from 10 base examples per dataset using identical task-specific augmentation where applicable. Under distribution shift, STRAT's mean accuracy drops by only 2.39 percentage points, compared with 11.75 for the Transformer.
• Abstract（参考訳）: トランスフォーマーベースの言語モデルは、記号的なタスクでうまく機能するが、一般化可能なルールを学習するか、統計的ショートカットに依存するかは定かではない。 機械学的研究は、アルゴリズムの振る舞いを構造化された内部表現にリンクさせ、頑健な推論は、その操作を制御するタイプから値を切り離すことによって得られるという仮説を動機付けている。 この分離をアーキテクチャプリミティブにすることで、論理機構の学習性と一般化が向上できるだろうか? 我々は、残余ストリームを直交データと型部分空間に分割し、型ベースの注意とゲーティングを用いてデータ変換を統治する、 \textbf{ST}ratified \textbf{R}egisters \textbf{A}nd \textbf{T}ypesを紹介した。 制御された演算アブレーションは、データ制御の干渉に関連する3つの障害モード(線形トラップ、グラディエントウォール、オープンゲートトラップ)を識別する。 メカニスティック解析は解釈可能な論理構造を示し、演算においてSTRATはトランスフォーマーベースラインに対して中央値のOOD誤差を35倍に削減する。 10のタスクにまたがる11のデータセットにおいて、STRATは平均26ポイントの精度でTransformerベースラインを上回り、両方のモデルが同じタスク固有の拡張を使用してデータセット毎に10のベースサンプルからトレーニングされている。 分布シフトの下では、STRATの平均精度は、Transformerの11.75に比べてわずか2.39ポイント低下した。

関連論文リスト

• ControlledShifts: Towards Standardizing Robustness Evaluation in Trajectory Prediction Under Distribution Shifts [12.370065954075299]
  軌道予測は自動運転の安全性の中心である。 多くの手法は、データ中心あるいはテスト時間適応アプローチによる分散シフト劣化を緩和しようとする。 ControlledShiftsは、既存のトラジェクトリデータセットをイン・ディストリビューションとアウト・オブ・ディストリビューションのパーティションに体系的に再分割するフレームワークである。
  論文  参考訳（メタデータ） (2026-08-18T15:16:52Z)
• CausalGate: Causal Importance Distillation for Transformer Module Pruning [0.0]
  CausalGateは、計算効率の良いランタイム推論のための介入誘導フレームワークである。 最終ロジット分布のKullback-Leibler分散による意味的損傷を測定する。 動的ルーティングやレイヤスキャッピングベースラインよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-07-21T20:19:59Z)
• When Does Context Help? Error Dynamics of Contextual Information in Large Language Models [64.88201012057822]
  大規模言語モデルにおける任意の文脈情報の影響を分析するための統合理論フレームワークを提案する。 本分析は,出力誤差ダイナミクスによる文脈的影響を特徴付ける。 ICL、検索拡張生成、メモリ進化に関する実験は、我々の理論を検証し、原則化された文脈選択戦略を動機づける。
  論文  参考訳（メタデータ） (2026-02-09T05:58:41Z)
• Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data [38.656987194921854]
  Transformer (RT) アーキテクチャは、様々なリレーショナルデータベース上で事前トレーニングすることができる。 RTは強いゼロショットを破り、バイナリ分類タスクにおいて、完全に教師されたAUROCの93%を平均化する。
  論文  参考訳（メタデータ） (2025-10-07T18:51:51Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。