論文の概要: To Explore The Strange New World Beyond Data Distribution: System Behavior, Causality Tax, and Non-causal Base Model

• arxiv url: http://arxiv.org/abs/2610.02839v1
• Date: Fri, 02 Oct 2026 05:29:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.229441
• Title: To Explore The Strange New World Beyond Data Distribution: System Behavior, Causality Tax, and Non-causal Base Model
• Title（参考訳）: データ配信を超えた奇妙な世界を探る--システム行動、因果税、非因果ベースモデル
• Abstract要約: 言語モデル (LM) の因果関係は不要であり, 最適であることを示す。 これは、システムビヘイビア($S$と表記)が第一原理ベイズ的特徴として組み込まれている場合である。 グリーンシェル (GSH) を構築し, 因果税の削減の可能性を示す。
• 参考スコア（独自算出の注目度）: 12.478708910741998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that the causality of language models (LMs) may not be necessary nor optimal. This is the case when system behavior (denoted as $S$) is incorporated as a first-principle Bayesian feature. Here, $S$ refers to extra dominant factors beyond the data space, and they involve coupled effects. Despite being the de facto foundation of modern architecture, recent studies indicate persistent mismatches and contradictions with causality. These issues largely stem from system behavior rather than the data distribution. We therefore propose the SBD framework, which incorporates $S$ as an irreducible component of the evidence lower bound (ELBO). SBD theoretically reveals a counter-intuitive Causality Tax phenomenon, where causality emerges as a suboptimal approximation with an additional structural error, due to the obliviousness to $S$. To address the challenge of latent variable analysis, we validate the SBD-predicted impact of $S$ via implicit measurements, theoretical-bound-guided controls, and Neural Tangent Kernel (NTK) evaluations. In particular, we construct Green Shell (GSH) to show the possibility of reducing Causality Tax. GSH is a non-causal variational family, and it replaces the sequential dependency chain of $S$ components with a divide-and-conquer partition. NTK spectra in the lazy-training regime confirm that GSH always achieves significantly tighter error bounds than causality, with $7dB+$ improvement in signal-to-noise ratio. In the relatively later stage of lazy-training, GSH further leads to superior generalization (up to $20\%$ richer multi-scale fitting capabilities). Taken together, SBD establishes system behavior as a complementary theoretical abstraction besides causality and distribution fitting, opening new research avenues such as designing and optimizing LM base models.
• Abstract（参考訳）: 言語モデル (LM) の因果関係は不要であり, 最適であることを示す。 これは、システムビヘイビア($S$と表記)が第一原理ベイズ的特徴として組み込まれている場合である。 ここでは、$S$はデータ空間を超えてさらに支配的な要素を指し、それらが結合効果を含む。 近代建築の事実上の基盤であるにもかかわらず、近年の研究は、継続的なミスマッチと因果関係との矛盾を示している。 これらの問題は、主にデータ分散よりもシステムの振る舞いに起因している。 そこで我々は,S$をエビデンスローバウンド(ELBO)の既約成分として組み込んだSBDフレームワークを提案する。 SBDは理論的には反直感的な因果税の現象を明らかにしており、因果関係はS$への難易度のため、さらなる構造的誤りを伴う最適下限近似として現れる。 潜時変数解析の課題に対処するため,暗黙的な測定,理論的有界誘導制御,ニューラルタンジェントカーネル(NTK)評価を通じてSBD予測効果を検証した。 特にグリーンシェル (GSH) を構築し, 因果税の削減の可能性を示す。 GSHは、非因果変分族であり、$S$コンポーネントのシーケンシャルな依存関係チェーンを分割とトランザクションのパーティションに置き換える。 遅延学習体制におけるNTKスペクトルは、GSHが因果関係よりもはるかに厳密なエラー境界を常に達成し、信号-雑音比が7dB+$改善されていることを確認した。 遅延トレーニングの比較的遅い段階では、GSHはさらに優れた一般化をもたらす(最大20\%のリッチなマルチスケールフィッティング機能)。 SBDは、因果性や分布フィッティングの他に、システム挙動を補完的な理論的抽象化として確立し、LMベースモデルの設計や最適化といった新しい研究の道を開いた。

関連論文リスト

• Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
  我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。 我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-20T19:34:53Z)
• Phase Transition for Budgeted Multi-Agent Synergy [41.486076708302456]
  マルチエージェントシステムは信頼性を向上させることができるが、固定された推論予算の下では、しばしば役立つか、飽和するか、崩壊するかさえある。 我々は、現代のエージェントスタックの3つの束縛制約からこれらの状態を予測する最小限の校正可能な理論を開発する。
  論文  参考訳（メタデータ） (2026-01-24T05:32:50Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• Differentiable Sparsity via $D$-Gating: Simple and Versatile Structured Penalization [22.883367233817836]
  D$-Gatingは、理論上、元の群疎性問題の解法と等価であることを示す。 ビジョン、言語、タスクにまたがって私たちの理論を検証する。
  論文  参考訳（メタデータ） (2025-09-28T14:08:29Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• Differentially Private Community Detection for Stochastic Block Models [22.526853379896252]
  本研究では,個々の接続のプライバシを保ちながら,コミュニティ検出問題について検討する。 本稿では,3つの異なる地域社会回復機構の幅広いクラスについて,関連する情報トレードオフを提示し,分析する。
  論文  参考訳（メタデータ） (2022-01-31T18:59:19Z)
• Variational Causal Networks: Approximate Bayesian Inference over Causal Structures [132.74509389517203]
  離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。 実験では,提案した変分後部が真の後部を良好に近似できることを示した。
  論文  参考訳（メタデータ） (2021-06-14T17:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。