論文の概要: Transfer Entropy Bottleneck: Learning Sequence to Sequence Information Transfer

• arxiv url: http://arxiv.org/abs/2211.16607v1
• Date: Tue, 29 Nov 2022 22:02:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 18:09:29.596517
• Title: Transfer Entropy Bottleneck: Learning Sequence to Sequence Information Transfer
• Title（参考訳）: 転送エントロピー・ボトルネック:シーケンス情報伝達の学習
• Authors: Damjan Kalajdzievski, Ximeng Mao, Pascal Fortier-Poisson, Guillaume Lajoie, Blake Richards
• Abstract要約: 我々は2つの依存するデータストリーム上で条件付き学習を行うための情報ボトルネック手法を開発した。 TEB(Transfer Entropy Bottleneck)と呼ばれる本手法では,ソース変数からターゲット変数に転送される有向情報をボトルネックにするモデルを学習することができる。
• 参考スコア（独自算出の注目度）: 2.7748972405157337
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: When presented with a data stream of two statistically dependent variables, predicting the future of one of the variables (the target stream) can benefit from information about both its history and the history of the other variable (the source stream). For example, fluctuations in temperature at a weather station can be predicted using both temperatures and barometric readings. However, a challenge when modelling such data is that it is easy for a neural network to rely on the greatest joint correlations within the target stream, which may ignore a crucial but small information transfer from the source to the target stream. As well, there are often situations where the target stream may have previously been modelled independently and it would be useful to use that model to inform a new joint model. Here, we develop an information bottleneck approach for conditional learning on two dependent streams of data. Our method, which we call Transfer Entropy Bottleneck (TEB), allows one to learn a model that bottlenecks the directed information transferred from the source variable to the target variable, while quantifying this information transfer within the model. As such, TEB provides a useful new information bottleneck approach for modelling two statistically dependent streams of data in order to make predictions about one of them.
• Abstract（参考訳）: 2つの統計依存変数のデータストリームが提示されると、その1つの変数(ターゲットストリーム)の将来を予測することは、その履歴と他の変数(ソースストリーム)の履歴の両方に関する情報から恩恵を受けることができる。 例えば、気象観測所の温度変動は、温度と気圧の読み取りの両方を使って予測できる。 しかし、そのようなデータをモデル化する上での課題は、ニューラルネットワークがターゲットストリーム内の最も大きなジョイント相関に依存することが簡単であり、ソースからターゲットストリームへの重要な情報転送を無視する可能性があることである。 同様に、ターゲットストリームがこれまで独立してモデル化されていた場合も多く、新しいジョイントモデルを伝えるためにそのモデルを使用することが有用である。 本稿では,2つの依存するデータストリームに対する条件学習のための情報ボトルネック手法を提案する。 提案手法はTEB (Transfer Entropy Bottleneck) と呼ばれるもので,本手法では,モデル内の情報伝達を定量化しながら,ソース変数からターゲット変数に転送される有向情報をボトルネックにするモデルを学習することができる。 そのため、TEBは2つの統計的に依存したデータストリームをモデル化し、そのうちの1つについて予測するために、有用な新しい情報ボトルネックアプローチを提供する。

関連論文リスト

• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Sub-graph Based Diffusion Model for Link Prediction [43.15741675617231]
  拡散確率モデル(Denoising Diffusion Probabilistic Models, DDPM)は、例外的な品質を持つ同時代の生成モデルである。 本研究では,ベイズ式による確率推定過程を分解するために,専用設計を用いたリンク予測のための新しい生成モデルを構築した。 提案手法は,(1)再トレーニングを伴わないデータセット間の転送可能性,(2)限られたトレーニングデータに対する有望な一般化,(3)グラフ敵攻撃に対する堅牢性など,多くの利点を示す。
  論文  参考訳（メタデータ） (2024-09-13T02:23:55Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• TrafficFlowGAN: Physics-informed Flow based Generative Adversarial Network for Uncertainty Quantification [4.215251065887861]
  動的システムの不確実性定量化(UQ)のための物理インフォームドフローベース生成逆ネットワーク(GAN)であるTrafficFlowGANを提案する。 このフローモデルは、データ可能性の最大化と、畳み込み判別器を騙すことができる合成データを生成するために訓練される。 我々の知る限りでは、UQ問題に対するフロー、GAN、PIDLの統合を最初に提案します。
  論文  参考訳（メタデータ） (2022-06-19T03:35:12Z)
• A data filling methodology for time series based on CNN and (Bi)LSTM neural networks [0.0]
  イタリア・ボルツァーノの監視アパートから得られた時系列データギャップを埋めるための2つのDeep Learningモデルを開発した。 提案手法は, 変動するデータの性質を把握し, 対象時系列の再構成に優れた精度を示す。
  論文  参考訳（メタデータ） (2022-04-21T09:40:30Z)
• On the Dynamics of Inference and Learning [0.0]
  本稿では,このベイズ更新過程を連続力学系として扱う。 クラムラーラオ境界が飽和すると、学習率は単純な1/T$パワーローによって制御されることを示す。
  論文  参考訳（メタデータ） (2022-04-19T18:04:36Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Predicting traffic signals on transportation networks using spatio-temporal correlations on graphs [56.48498624951417]
  本稿では,複数の熱拡散カーネルをデータ駆動予測モデルにマージして交通信号を予測する交通伝搬モデルを提案する。 予測誤差を最小限に抑えるためにベイズ推定を用いてモデルパラメータを最適化し,2つの手法の混合率を決定する。 提案モデルでは,計算労力の少ない最先端のディープニューラルネットワークに匹敵する予測精度を示す。
  論文  参考訳（メタデータ） (2021-04-27T18:17:42Z)
• Learning summary features of time series for likelihood free inference [93.08098361687722]
  時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。 以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-04T19:21:37Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)
• Conditional Mutual information-based Contrastive Loss for Financial Time Series Forecasting [12.0855096102517]
  金融時系列予測のための表現学習フレームワークを提案する。 本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-02-18T15:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。