論文の概要: T-SaS: Toward Shift-aware Dynamic Adaptation for Streaming Data
- arxiv url: http://arxiv.org/abs/2309.02610v1
- Date: Tue, 5 Sep 2023 22:55:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 17:15:45.934436
- Title: T-SaS: Toward Shift-aware Dynamic Adaptation for Streaming Data
- Title（参考訳）: T-SaS: ストリーミングデータに対するシフト対応動的適応に向けて
- Authors: Weijieying Ren, Tianxiang Zhao, Wei Qin, Kunpeng Liu
- Abstract要約: 本稿では,突発的な分散シフトの存在下での逐次データモデリングの課題を解決することを目的とする。
具体的には、データの急激なシフトを捉えるために、離散分布モデリング変数を持つT-SaSと呼ばれるベイズフレームワークを設計する。
提案手法は,全ネットワーク上でどのニューロンを活性化すべきかを学習することで,各分布の特定のモデルパラメータを学習する。
- 参考スコア（独自算出の注目度）: 9.829993835712422
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In many real-world scenarios, distribution shifts exist in the streaming data
across time steps. Many complex sequential data can be effectively divided into
distinct regimes that exhibit persistent dynamics. Discovering the shifted
behaviors and the evolving patterns underlying the streaming data are important
to understand the dynamic system. Existing methods typically train one robust
model to work for the evolving data of distinct distributions or sequentially
adapt the model utilizing explicitly given regime boundaries. However, there
are two challenges: (1) shifts in data streams could happen drastically and
abruptly without precursors. Boundaries of distribution shifts are usually
unavailable, and (2) training a shared model for all domains could fail to
capture varying patterns. This paper aims to solve the problem of sequential
data modeling in the presence of sudden distribution shifts that occur without
any precursors. Specifically, we design a Bayesian framework, dubbed as T-SaS,
with a discrete distribution-modeling variable to capture abrupt shifts of
data. Then, we design a model that enable adaptation with dynamic network
selection conditioned on that discrete variable. The proposed method learns
specific model parameters for each distribution by learning which neurons
should be activated in the full network. A dynamic masking strategy is adopted
here to support inter-distribution transfer through the overlapping of a set of
sparse networks. Extensive experiments show that our proposed method is
superior in both accurately detecting shift boundaries to get segments of
varying distributions and effectively adapting to downstream forecast or
classification tasks.
- Abstract（参考訳）: 多くの現実のシナリオでは、時間ステップにわたるストリーミングデータに分散シフトが存在する。
多くの複雑なシーケンシャルデータは、永続的なダイナミクスを示す異なるレジームに効果的に分けられる。
移動した動作とストリーミングデータの基盤となる進化パターンの発見は、動的システムを理解する上で重要である。
既存の手法は通常、1つのロバストなモデルを訓練し、異なる分布の進化するデータを扱うか、明示的に与えられた規則境界を利用してモデルを逐次適応させる。
しかし、2つの課題がある: (1)データストリームのシフトは、前駆者なしで劇的に、そして突然起こる可能性がある。
分散シフトの境界は通常不可能であり、(2)すべてのドメインで共有モデルをトレーニングしても、さまざまなパターンをキャプチャできない可能性がある。
本稿では,前駆者なしで発生する突然の分布変化の存在下での逐次データモデリングの課題を解決することを目的とする。
具体的には、データの急激なシフトを捉えるために、離散分布モデリング変数を持つT-SaSと呼ばれるベイズフレームワークを設計する。
そこで我々は,その離散変数に条件付き動的ネットワーク選択に適応可能なモデルを設計する。
提案手法は,全ネットワークでどのニューロンを活性化すべきかを学習することで,各分布の特定のモデルパラメータを学習する。
ここでは、スパースネットワークのオーバーラップによる分配間転送を支援するために、動的マスキング戦略を採用する。
その結果,提案手法は,分布の異なるセグメントを正確に検出し,下流予測や分類タスクに効果的に適応できることが示唆された。
関連論文リスト
- Constrained Diffusion Models via Dual Training [80.03953599062365]
我々は,要求に応じて所望の分布に基づいて制約付き拡散モデルを開発する。
本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
論文 参考訳（メタデータ） (2024-08-27T14:25:42Z) - Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。
因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
論文 参考訳（メタデータ） (2024-07-01T15:43:25Z) - Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。
因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
論文 参考訳（メタデータ） (2024-06-07T14:29:21Z) - Training Implicit Generative Models via an Invariant Statistical Loss [3.139474253994318]
暗黙的な生成モデルは任意の複雑なデータ分布を学習する能力を持つ。
マイナス面として、トレーニングでは、敵対的判別器を使用して人工的に生成されたデータと実際のデータを区別する必要がある。
本研究では,1次元(1次元)生成暗黙的モデルを学習するための判別器フリーな手法を開発した。
論文 参考訳（メタデータ） (2024-02-26T09:32:28Z) - Out-of-Distribution Generalized Dynamic Graph Neural Network with
Disentangled Intervention and Invariance Promotion [61.751257172868186]
動的グラフニューラルネットワーク(DyGNN)は、グラフと時間力学を利用して強力な予測能力を実証している。
既存のDyGNNは、動的グラフに自然に存在する分散シフトを処理できない。
論文 参考訳（メタデータ） (2023-11-24T02:42:42Z) - Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。
TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。
本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-28T20:42:47Z) - Bayesian Flow Networks [4.585102332532472]
本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。
単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。
BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
論文 参考訳（メタデータ） (2023-08-14T09:56:35Z) - Can Push-forward Generative Models Fit Multimodal Distributions? [3.8615905456206256]
生成ネットワークのリプシッツ定数はマルチモーダル分布に適合するために大きくなければならないことを示す。
本研究では,1次元および画像のデータセットを用いて,各ステップで入力されたスタックネットワークからなる生成モデルがそのような制約を負わないことを実証的に検証した。
論文 参考訳（メタデータ） (2022-06-29T09:03:30Z) - Conditional Permutation Invariant Flows [23.740061786510417]
トラクタブルログ密度を持つ集合値データの条件付き生成確率モデルを提案する。
これらのダイナミクスは、学習可能なセット単位の項とペアの相互作用によって駆動され、どちらもディープニューラルネットワークによってパラメータ化される。
本稿では,(1)視覚的に特定された地図情報に条件付けされた複雑な交通シーン生成,(2)画像に直接条件付けされたオブジェクト境界ボックス生成などのアプリケーションを通じて,このモデルの有用性を解説する。
論文 参考訳（メタデータ） (2022-06-17T21:43:38Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳（メタデータ） (2020-09-01T17:20:08Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳（メタデータ） (2020-07-07T03:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。