論文の概要: Compressed Predictive Information Coding

• arxiv url: http://arxiv.org/abs/2203.02051v1
• Date: Thu, 3 Mar 2022 22:47:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-07 16:20:39.835936
• Title: Compressed Predictive Information Coding
• Title（参考訳）: 圧縮予測情報符号化
• Authors: Rui Meng, Tianyi Luo, Kristofer Bouchard
• Abstract要約: 我々は,動的データから有用な表現を抽出する新しい情報理論フレームワーク,Compressed Predictive Information Coding (CPIC) を開発した。 我々はCPIC損失の変動境界を導出し、最大予測可能な情報を取得するために潜時空間を誘導する。 我々はCPICが低信号対雑音比で雑音力学系の潜時空間を復元できることを実証した。
• 参考スコア（独自算出の注目度）: 6.220929746808418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised learning plays an important role in many fields, such as artificial intelligence, machine learning, and neuroscience. Compared to static data, methods for extracting low-dimensional structure for dynamic data are lagging. We developed a novel information-theoretic framework, Compressed Predictive Information Coding (CPIC), to extract useful representations from dynamic data. CPIC selectively projects the past (input) into a linear subspace that is predictive about the compressed data projected from the future (output). The key insight of our framework is to learn representations by minimizing the compression complexity and maximizing the predictive information in latent space. We derive variational bounds of the CPIC loss which induces the latent space to capture information that is maximally predictive. Our variational bounds are tractable by leveraging bounds of mutual information. We find that introducing stochasticity in the encoder robustly contributes to better representation. Furthermore, variational approaches perform better in mutual information estimation compared with estimates under a Gaussian assumption. We demonstrate that CPIC is able to recover the latent space of noisy dynamical systems with low signal-to-noise ratios, and extracts features predictive of exogenous variables in neuroscience data.
• Abstract（参考訳）: 教師なし学習は人工知能、機械学習、神経科学など多くの分野で重要な役割を果たしている。 静的データと比較して、動的データの低次元構造を抽出する方法が遅れている。 我々は,動的データから有用な表現を抽出する新しい情報理論フレームワーク,Compressed Predictive Information Coding (CPIC)を開発した。 CPICは過去(入力)を線形部分空間に選択的に投影し、将来(出力)から投影される圧縮データについて予測する。 我々のフレームワークの重要な洞察は、圧縮の複雑さを最小化し、潜在空間における予測情報を最大化することで表現を学ぶことである。 我々はCPIC損失の変動境界を導出し、最大予測可能な情報を取得するために潜時空間を誘導する。 我々の変動境界は相互情報の境界を利用して扱いやすい。 エンコーダに確率性を導入することは、より優れた表現に強く寄与する。 さらに,変分法はガウス的仮定に基づく推定よりも相互情報推定に優れる。 CPICは低信号-雑音比の雑音力学系の潜時空間を復元できることを示し,神経科学データにおける外因性変数の予測的特徴を抽出する。

関連論文リスト

• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Predictive variational autoencoder for learning robust representations of time-series data [0.0]
  本稿では,次点を予測するVAEアーキテクチャを提案する。 VAEの2つの制約は、時間とともにスムーズであることを示し、堅牢な潜伏表現を生成し、合成データセット上の潜伏因子を忠実に回収する。
  論文  参考訳（メタデータ） (2023-12-12T02:06:50Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• IB-UQ: Information bottleneck based uncertainty quantification for neural function regression and neural operator learning [11.5992081385106]
  本稿では,科学的機械学習タスクのための情報ボトルネック(IB-UQ)による不確実性定量化のための新しいフレームワークを提案する。 我々は,入力データの信頼度に応じて,入力を潜在表現に符号化する信頼認識エンコーダによってボトルネックを埋め込む。 また,外挿不確かさの質を高めるために,データ拡張に基づく情報ボトルネック目標を提案する。
  論文  参考訳（メタデータ） (2023-02-07T05:56:42Z)
• Palm up: Playing in the Latent Manifold for Unsupervised Pretraining [31.92145741769497]
  本稿では,多種多様なデータセットを使用しながら探索行動を示すアルゴリズムを提案する。 私たちのキーとなるアイデアは、静的データセットに事前トレーニングされた深層生成モデルを活用し、潜在空間に動的モデルを導入することです。 次に、教師なし強化学習アルゴリズムを用いて、この環境を探索し、収集したデータに基づいて教師なし表現学習を行う。
  論文  参考訳（メタデータ） (2022-10-19T22:26:12Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• An Extension to Basis-Hypervectors for Learning from Circular Data in Hyperdimensional Computing [62.997667081978825]
  超次元計算(Hyperdimensional Computing、HDC)は、高次元ランダム空間の性質に基づく計算フレームワークである。 本稿では, 基本超ベクトル集合について検討し, 一般にHDCへの実践的貢献につながっている。 本稿では,HDCを用いた機械学習において,これまでに扱ったことのない重要な情報である円形データから学習する手法を提案する。
  論文  参考訳（メタデータ） (2022-05-16T18:04:55Z)
• Quantifying Relevance in Learning and Inference [0.0]
  関連性」概念に基づく理解学習の最近の進歩を概観する。 これらはサンプルと機械の理想的な限界であり、未知の生成過程に関する情報の最大量を含んでいる。 最大情報的サンプルは、異常に大きな感受性によって、パワー・ローの周波数分布(統計的臨界)と最適学習機によって特徴づけられる。
  論文  参考訳（メタデータ） (2022-02-01T11:16:04Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)
• Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
  マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。 MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。 本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
  論文  参考訳（メタデータ） (2020-02-17T19:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。