論文の概要: Guarantees on Dynamical System Distinguishability for LLM Token Generation
- arxiv url: http://arxiv.org/abs/2607.28667v1
- Date: Sat, 25 Jul 2026 04:10:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.354784
- Title: Guarantees on Dynamical System Distinguishability for LLM Token Generation
- Title（参考訳）: LLMトークン生成における動的システム識別性保証
- Abstract要約: 2つの線形DS間の二元仮説テストとして分類タスクを定式化する。
2つのDSの静止辺分布間の総変動距離を任意に小さくすることができることを示す。
また、埋め込みモデル間の近似的相互干渉条件を導入することで、クロス埋め込み一般化を特徴付ける。
- 参考スコア（独自算出の注目度）: 3.6209977238182276
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work has shown that classifying large language models (LLMs)' responses can be distinguished by modeling token embeddings as trajectories of a black-box dynamical system (DS) and comparing prediction residuals of two DSs. Despite the empirical success of this dynamical approach, a theoretical understanding of why it works, how well it scales as a function of the token sequence, and when it transfers across embedding models remains lacking. We address these questions by formalizing the classification task as a binary hypothesis test between two stochastic linear DSs. We show that the total variation distance between the stationary marginal distributions of the two DSs can be arbitrarily small even when the dynamics differ substantially, which provides a fundamental accuracy floor for any classifier that ignores token dynamics. We then show that the misclassification probability of DS-based classification decays exponentially in the sequence length $L$, with the decay governed by a dynamical discriminability quantity $δ^2$ that captures the spectral distance between the two DSs. We also characterize cross-embedding generalization by introducing an approximate intertwining condition between embedding models and establishing a lower bound on the transferable discriminability in terms of the intertwining map's smallest singular value. Together, these results explain the empirical performance of DS-based classification and motivate further investigation into using DS theory to analyze AI systems, in contrast to the more common approach of using AI to model dynamical systems.
- Abstract（参考訳）: 近年の研究では、大規模言語モデル(LLM)の応答の分類は、トークン埋め込みをブラックボックス力学系(DS)の軌跡としてモデル化し、2つのDSの予測残差を比較することで区別できることが示されている。
この力学的アプローチの実証的な成功にもかかわらず、なぜそれが機能するのか、トークンシーケンスの関数としてどれだけうまくスケールするか、そしてそれが埋め込みモデルにまたがって移動するときの理論的理解は依然として不足している。
本稿では,2つの確率線形DS間の二元仮説テストとして分類タスクを定式化することにより,これらの問題に対処する。
本研究では,2つのDSの定常辺分布間の総変動距離が,ダイナミックスが大きく異なる場合でも任意に小さくなることを示す。
次に、DSに基づく分類の誤分類確率は、配列長$L$で指数関数的に減衰し、2つのDS間のスペクトル距離を捉える動的識別可能性量$δ^2$によって支配されることを示す。
また、埋め込みモデル間の近似的相互交叉条件を導入し、相互交叉写像の最小特異値の観点から、伝達可能な識別可能性の低い境界を確立することにより、クロスエンベディング一般化を特徴付ける。
これらの結果は、DSに基づく分類の実証的な性能を説明し、動的システムのモデル化にAIを用いるというより一般的なアプローチとは対照的に、DS理論を用いてAIシステムを分析するためのさらなる研究を動機付けている。
関連論文リスト
- Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts [60.95873409673775]
連続時間潜在微分方程式モデルにおける識別可能性はほとんど開のままである。
未知の非線形微分同相を通じて観測される付加ノイズ潜在SDEについて検討した。
本稿では,2段階の遅延不整合とグラフ復元のための推定器を提案する。
論文 参考訳（メタデータ） (2026-06-26T16:18:28Z) - Effective Covariance Dynamics in Solvable High-Dimensional GANs [2.639628765667673]
線形生成器がデータから低次元部分空間を学習するGANトレーニングの可解な高次元モデルについて検討する。
顕微鏡トレーニングプロセスが高次元の極限において、この効果的な共分散によって支配される決定論的常微分方程式に収束することを証明する。
論文 参考訳（メタデータ） (2026-06-25T16:33:54Z) - Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine [60.669081685261965]
拡散モデルは、顕著な品質で高次元データを生成する。
彼らのトレーニングがいかに効率的にスコア関数を学習するかは理論的には説明がつかないままである。
我々はこの原理をScore-induced Latent Diffusion (SiLD)として定式化する。
論文 参考訳（メタデータ） (2026-05-16T16:51:10Z) - Towards Fast Coarse-graining and Equation Discovery with Foundation Inference Models [6.403678133359229]
高次元記録における潜伏力学は、しばしばより小さな有効変数の集合によって特徴づけられる。
ほとんどの機械学習アプローチは、動的一貫性を強制するモデルとともにオートエンコーダをトレーニングすることで、これらのタスクに共同で取り組む。
我々は最近導入されたファンデーション推論モデル(FIM)を利用して2つの問題を分離することを提案する。
半円拡散を合成ビデオデータに埋め込んだ二重井戸系における概念実証は、高速で再利用可能な粗粒化パイプラインに対するこのアプローチの可能性を示している。
論文 参考訳（メタデータ） (2025-10-14T15:17:23Z) - Understanding Catastrophic Interference: On the Identifibility of Latent Representations [67.05452287233122]
破滅的な干渉、あるいは破滅的な忘れ(Caastrophic forgetting)は、機械学習の根本的な課題である。
本稿では,破滅的干渉を識別問題として定式化する新しい理論枠組みを提案する。
我々のアプローチは、合成データセットとベンチマークデータセットの両方で理論的保証と実用的なパフォーマンスの改善を提供する。
論文 参考訳（メタデータ） (2025-09-27T00:53:32Z) - Hierarchical Stochastic Differential Equation Models for Latent Manifold Learning in Neural Time Series [0.0]
本稿では計算効率と解釈可能性のバランスをとる新しい階層微分方程式(SDE)モデルを提案する。
我々は、トレーニングと推論の手順を導出し、推論の計算コストが観測データの長さと線形にスケールすることを示す。
論文 参考訳（メタデータ） (2025-07-29T06:51:58Z) - Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning [80.44084021062105]
本稿では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。
特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。
事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善する。
論文 参考訳（メタデータ） (2024-02-09T07:18:06Z) - Learning Stochastic Dynamical Systems as an Implicit Regularization with
Graph Neural Networks [5.374505641331418]
ガムベルグラフネットワークは高次元時系列を学習するために提案されている。
S-GGNsは,最先端ネットワークと比較して,収束性,堅牢性,一般化性が優れていることを示す。
論文 参考訳（メタデータ） (2023-07-12T11:38:34Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。
理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。
本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
論文 参考訳（メタデータ） (2022-10-12T06:46:38Z) - Linearization and Identification of Multiple-Attractors Dynamical System
through Laplacian Eigenmaps [8.161497377142584]
速度拡張カーネルを利用したグラフベースのスペクトルクラスタリング手法を提案し,同じダイナミックスに属するデータポイントを接続する。
部分力学が線型であり、n-次元埋め込みが準線型であるような2次元埋め込み空間が常に存在することを証明する。
我々は、ラプラシアン埋め込み空間から元の空間への微分同相性を学び、ラプラシアン埋め込みが良好な再構成精度とより高速な訓練時間をもたらすことを示す。
論文 参考訳（メタデータ） (2022-02-18T12:43:25Z) - BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。
近年の進歩により、観測データからDAGの有効最大点推定が可能となった。
線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
論文 参考訳（メタデータ） (2021-12-06T03:35:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。