論文の概要: Factorized Representations of Concurrent Temporal Variables in Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2610.40328v1
• Date: Thu, 29 Oct 2026 15:56:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.532629
• Title: Factorized Representations of Concurrent Temporal Variables in Pretrained Language Models
• Title（参考訳）: 事前学習言語モデルにおける同時時間変数の因子的表現
• Abstract要約: 言語モデルは、文書内で独立して進化する複数のコンテキスト変数を維持する必要があることが多い。 本研究では,言語スウィッチとトピック・チェンジ・タイマーを独立に有する制御された文書を用いて,この問題を考察する。 タイマーのコントリビューションは、関節状態のセントロイドの最も再現性のある変化を説明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models often need to maintain multiple contextual variables that evolve independently within a document. Prior work has identified structured representations of individual temporal or contextual quantities, but their joint organization remains less understood. We study this question using controlled documents with independently phased language-switch and topic-change timers. Across ten pretrained checkpoints, both timers are linearly decodable from the same hidden states. Removing a timer-associated centroid plane substantially reduces access to its associated variable while having little effect on the concurrent timer, although the planes are nonorthogonal and contain cross-timer information. Separate timer contributions also explain most reproducible variation among joint-state centroids. These signatures persist from 3 to 51 timer values and across Qwen3 checkpoints from 0.6B to 14B. Schedule position affects continuation probabilities, but the tested centroid displacement produces no consistent timer-specific output effect. Together, these results support approximate factorization based on selective accessibility and approximately additive joint-state geometry in overlapping subspaces.
• Abstract（参考訳）: 言語モデルは、文書内で独立して進化する複数のコンテキスト変数を維持する必要があることが多い。 以前の研究では、個々の時間的あるいは文脈的な量の構造的表現が特定されていたが、それらの共同組織はいまだに理解されていない。 本研究では,言語スウィッチとトピック・チェンジ・タイマーを独立に有する制御された文書を用いて,この問題を考察する。 10個の事前訓練されたチェックポイントで、両方のタイマーは同じ隠れ状態から線形にデオード可能である。 タイマー関連セントロイド平面の除去は、平面が非直交的であり、クロスタイマー情報を含むにもかかわらず、同時タイマーにほとんど影響を与えないにもかかわらず、関連する変数へのアクセスを大幅に減少させる。 タイマーのコントリビューションは、関節状態のセントロイドの最も再現性のある変化を説明する。 これらのシグネチャは3から51のタイマー値に、Qwen3チェックポイントは0.6Bから14Bに持続する。 スケジュール位置は継続確率に影響を与えるが、テストされたセントロイド変位はタイマー特異的な出力効果を生じない。 これらの結果は、重なり合う部分空間における選択的アクセシビリティとおよそ加法的結合状態幾何に基づく近似因数分解をサポートする。

関連論文リスト

• A Time-Aware Bag-of-Receptive-Fields for Interpretable Irregular Time Series Classification [0.20305676256390937]
  Bag-Of-Receptive-Fields (BORF) は、時系列の高速、決定論的、解釈可能な変換である。 我々の重要な貢献は、各観測が関連する時間デルタに比例して重み付けされる時間重み付き正規化スキームである。 これは、時間重み付き標準偏差に対する効率的なスライディングウインドウの繰り返しを導出する必要がある。
  論文  参考訳（メタデータ） (2026-09-30T08:24:00Z)
• Geometry-Conditioned Fixed-Scaffold Encoders for Time-Warp Robust Sequence Retrieval [13.92721501074]
  埋め込みベースの検索は、各アイテムを1回エンコードし、最寄りのランキングで検索できるので、長いシーケンスコレクションにとって魅力的である。 本稿では,パッチベースのエンコーダにおける不安定性の特定源について検討する。 固定スキャフォールドパッチエンコーダであるGeoPatchを提案する。
  論文  参考訳（メタデータ） (2026-09-29T06:23:02Z)
• LEFT: Learnable Fusion of Tri-view Tokens for Unsupervised Time Series Anomaly Detection [53.191369031661885]
  教師なし時系列異常検出は、アノテーションの可用性を前提とせず、異常なタイムスタンプを識別するモデルを構築することを目的としている。 本稿では,非教師付きTSADフレームワークであるLearnable Fusion of Tri-view Tokens(LEFT)について述べる。 実世界のベンチマーク実験では、LEFTはSOTAベースラインに対して最高の検出精度を示し、FLOPの5倍、トレーニングの8倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-02-09T13:33:49Z)
• Beyond Marginals: Learning Joint Spatio-Temporal Patterns for Multivariate Anomaly Detection [2.893006778402251]
  時系列データでは、関連時系列の同時ずれにより異常を示すことができる。 我々のアプローチは、潜在空間における結合依存をモデル化することでこの問題に対処する。
  論文  参考訳（メタデータ） (2025-09-18T14:57:55Z)
• Temporally Grounding Instructional Diagrams in Unconstrained Videos [51.85805768507356]
  本稿では,ビデオ中の命令図中のクエリ列を同時にローカライズするという課題について検討する。 既存のほとんどのメソッドは、クエリの固有の構造を無視しながら、一度に1つのクエリをグラウンドすることに焦点を当てている。 ステップダイアグラムの視覚的特徴を包括的にペアリングして構築した複合クエリを提案する。 ステップ図のグラウンド化のためのIAWデータセットと自然言語クエリのグラウンド化のためのYouCook2ベンチマークに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-07-16T05:44:30Z)
• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• Probabilistic Learning of Multivariate Time Series with Temporal Irregularity [21.361823581838355]
  実世界の時系列はしばしば、一様間隔や不整合変数を含む時間的不規則に悩まされる。 本稿では,変数の連立分布を任意の連続点で捉えながら,時間的不規則性をモデル化するエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-15T14:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。