論文の概要: Invariant Link Selector for Spatial-Temporal Out-of-Distribution Problem
- arxiv url: http://arxiv.org/abs/2505.24178v1
- Date: Fri, 30 May 2025 03:40:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 19:47:52.753425
- Title: Invariant Link Selector for Spatial-Temporal Out-of-Distribution Problem
- Title(参考訳): 時空間分布問題に対する不変リンクセレクタ
- Authors: Katherine Tieu, Dongqi Fu, Jun Wu, Jingrui He,
- Abstract要約: 本稿では,時間グラフのどの成分が最も不変であり,ラベルに関して代表的であるかを検討する。
Information Bottleneck (IB) 法により,誤差バウンドな不変リンクセレクタを提案する。
また、時間的リンク予測などのタスク固有の損失関数を用いてトレーニングを行い、事前学習したモデルが現実世界のアプリケーションタスクを解決する。
- 参考スコア(独自算出の注目度): 38.09847009684321
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In the era of foundation models, Out-of- Distribution (OOD) problems, i.e., the data discrepancy between the training environments and testing environments, hinder AI generalization. Further, relational data like graphs disobeying the Independent and Identically Distributed (IID) condition makes the problem more challenging, especially much harder when it is associated with time. Motivated by this, to realize the robust invariant learning over temporal graphs, we want to investigate what components in temporal graphs are most invariant and representative with respect to labels. With the Information Bottleneck (IB) method, we propose an error-bounded Invariant Link Selector that can distinguish invariant components and variant components during the training process to make the deep learning model generalizable for different testing scenarios. Besides deriving a series of rigorous generalizable optimization functions, we also equip the training with task-specific loss functions, e.g., temporal link prediction, to make pretrained models solve real-world application tasks like citation recommendation and merchandise recommendation, as demonstrated in our experiments with state-of-the-art (SOTA) methods. Our code is available at https://github.com/kthrn22/OOD-Linker.
- Abstract(参考訳): 基礎モデルの時代には、アウト・オブ・ディストリビューション(OOD)の問題、すなわち、トレーニング環境とテスト環境との間のデータ差がAIの一般化を妨げる。
さらに、独立分散(IID)条件に反するグラフのような関係データは、特に時間に関連する場合、問題をより困難にします。
これにより、時間グラフ上の頑健な不変学習を実現するために、時間グラフのどの成分が最も不変であり、ラベルに関して代表的であるかを調査したい。
Information Bottleneck (IB) 法を用いて, 学習過程における不変成分と変成分を識別し, 異なるテストシナリオでディープラーニングモデルを一般化する, 誤差バウンドな不変リンクセレクタを提案する。
また,一連の厳密な一般化可能な最適化関数の導出に加えて,タスク固有の損失関数,例えば時間的リンク予測を用いて,事前学習したモデルによる引用推薦や商品レコメンデーションといった現実のアプリケーションタスクの解決を行う。
私たちのコードはhttps://github.com/kthrn22/OOD-Linker.orgから入手可能です。
関連論文リスト
- TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model [11.281386703572842]
TimeDiTは時間依存性学習と確率的サンプリングを組み合わせた拡散トランスフォーマーモデルである。
TimeDiTは、さまざまなタスクにわたるトレーニングと推論プロセスを調和させるために、統一的なマスキングメカニズムを採用している。
我々の体系的評価は、ゼロショット/ファインチューニングによる予測と計算という基本的なタスクにおいて、TimeDiTの有効性を示す。
論文 参考訳(メタデータ) (2024-09-03T22:31:57Z) - Explaining Time Series via Contrastive and Locally Sparse Perturbations [45.055327583283315]
ContraLSPは、非形式的摂動を構築するために反事実サンプルを導入するスパースモデルである。
合成と実世界の両方のデータセットに関する実証研究は、ContraLSPが最先端のモデルより優れていることを示している。
論文 参考訳(メタデータ) (2024-01-16T18:27:37Z) - Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
論文 参考訳(メタデータ) (2023-10-04T07:14:43Z) - AnomalyBERT: Self-Supervised Transformer for Time Series Anomaly
Detection using Data Degradation Scheme [0.7216399430290167]
時系列、特にラベルなしデータに対する異常検出タスクは、難しい問題である。
自己教師型モデルトレーニングに適切なデータ劣化スキームを適用することで、この問題に対処する。
自己認識機構に触発されて、時間的文脈を認識するトランスフォーマーベースのアーキテクチャを設計する。
論文 参考訳(メタデータ) (2023-05-08T05:42:24Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳(メタデータ) (2021-08-09T08:45:47Z) - Unshuffling Data for Improved Generalization [65.57124325257409]
トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。
本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
論文 参考訳(メタデータ) (2020-02-27T03:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。