論文の概要: Latent States in Neural Networks: Recovering the Temporal Structure of Drifting Data from Model Weights

• arxiv url: http://arxiv.org/abs/2607.27482v1
• Date: Wed, 29 Jul 2026 21:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.326284
• Title: Latent States in Neural Networks: Recovering the Temporal Structure of Drifting Data from Model Weights
• Title（参考訳）: ニューラルネットワークにおける潜時状態:モデル重みからドリフトデータの時間構造を復元する
• Authors: Kevin Guan,
• Abstract要約: 時間的にドリフトするデータストリームは、連続的に変化するのではなく、個別のレジームを通過することがある。 隠れマルコフモデル(HMM)を用いて、ストリーム上でトレーニングされたモデルの重みからそのようなレジームが回復可能かどうかを問う。 本稿では,この疑問を,F waskedditデータセットを用いたマルチモーダル誤報検出とYelpデータセットを用いた感情分析という,時間とともに漂うことが知られている2つの領域で研究する。
• 参考スコア（独自算出の注目度）: 1.7767466724342065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A temporally drifting data stream may pass through discrete regimes rather than changing continuously. We ask whether such regimes are recoverable from the weights of models trained on the stream, using a hidden Markov model (HMM) fit to the chronologically ordered trajectory of those weights. We study this question in two domains known to drift over time: multimodal misinformation detection, using the Fakeddit dataset; and sentiment analysis, using the Yelp dataset. We train classifiers on consecutive temporal windows and fit an HMM to the trajectory of their aligned weights, recovering latent states that partition each timeline into coherent phases. On both datasets, classifiers generalize better to data from windows sharing the state of their training window than to windows across state boundaries. This within-state transfer advantage survives a control for temporal proximity and modestly exceeds the advantage recovered by a naive partition into contiguous states of equal size. Although the states are estimated solely from model weights, they correlate more strongly with shifts in the data's class distribution than with the weight-space geometry used to estimate them. After class divergence and lag are residualized out, the within-state advantage exceeds its permutation null on both tasks, indicating that the states recover structure relevant to transfer beyond the data distribution. Every effect replicates on both tasks but is attenuated on Yelp, whose label distribution is more temporally stable.
• Abstract（参考訳）: 時間的にドリフトするデータストリームは、連続的に変化するのではなく、個別のレジームを通過することがある。 本研究では,ストリーム上でトレーニングされたモデルの重みから,その重みの時間的順序に適合する隠れマルコフモデル(HMM)を用いて,そのような状態が回復可能かどうかを問う。 本稿では,この疑問を,F waskedditデータセットを用いたマルチモーダル誤報検出とYelpデータセットを用いた感情分析という,時間とともに漂うことが知られている2つの領域で研究する。 我々は、連続した時間窓上で分類器を訓練し、HMMをそれらの重みの軌跡に適合させ、各タイムラインをコヒーレントフェーズに分割する潜在状態を回復する。 両方のデータセットにおいて、分類器は、トレーニングウィンドウの状態を共有するウィンドウからのデータを、状態境界を越えてウィンドウに一般化する。 この内部状態移動の利点は、時間的近接の制御を生き残り、ネーブ分割によって同じ大きさの連続状態に復元された利点をわずかに上回る。 状態はモデルウェイトからのみ推定されるが、それらの推定に用いられる重量空間幾何学よりも、データのクラス分布の変化と強く相関する。 クラス分岐とラグが残されると、内部状態のアドバンテージは両方のタスクの置換ヌルを超え、状態がデータ分布を超えて転送される構造を回復することを示す。 すべてのエフェクトは両方のタスクで複製されるが、Yelpでは減衰し、そのラベルの分布は時間的に安定している。

関連論文リスト

• Stochastic Lifting for Generating Trajectories of Stochastic Physical Systems [12.19832939917878]
  現在の状態から次の状態への遷移は、スムーズなマップと明示的なランダムなソースの組み合わせとしてモデル化されることが多い。 本稿では、トレーニングデータの各状態遷移に独立して高次元ランダムラベルを付加し、標準回帰損失を用いて現在の状態から次の状態への遷移マップを固定することにより、この構造を利用する。 新たなラベルは各タイムステップでサンプリングされ、学習されたマップは自動回帰的にロールアウトされ、タイムステップ毎に単一のネットワーク評価を伴う多様なトラジェクトリを生成する。
  論文  参考訳（メタデータ） (2026-05-28T00:10:45Z)
• ForcingDAS: Unified and Robust Data Assimilation via Diffusion Forcing [24.41363445015799]
  我々は、統一的で堅牢なデータ同化フレームワークForcingDASを紹介する。 ForcingDASはフレーム間遷移の代わりに、ジョイント軌道を学習する。 我々は,2次元ナビエ-ストークス渦性,降水流,大域大気状態推定におけるForcingDASの評価を行った。
  論文  参考訳（メタデータ） (2026-05-14T02:34:33Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• STDiff: A State Transition Diffusion Framework for Time Series Imputation in Industrial Systems [2.3895981099137535]
  そこで本研究では,ある状態から次の状態へシステムがどのように進化するかを学ぶために,命令を書き換えるSTDiffを提案する。 STDiffは低いエラーを継続的に達成し、その利点は長いギャップで増大する。 これらの結果は、産業時系列の堅牢なアプローチとして、動的に認識され、明示的な条件付き計算をサポートする。
  論文  参考訳（メタデータ） (2025-08-26T13:14:53Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Dynamical Wasserstein Barycenters for Time-series Modeling [16.212262513825717]
  ほとんどの先行研究は、純粋な離散状態間の即時遷移を前提としている。 本稿では,時間とともにシステム状態を推定するWasserstein Barycentric (DWB)モデルを提案する。 いくつかの人的活動データセットの実験により、提案したDWBモデルが純粋状態の生成過程を正確に学習できることが示されている。
  論文  参考訳（メタデータ） (2021-10-13T14:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。