論文の概要: Approaching an unknown communication system by latent space exploration
and causal inference
- arxiv url: http://arxiv.org/abs/2303.10931v2
- Date: Tue, 6 Feb 2024 14:05:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 21:30:49.337305
- Title: Approaching an unknown communication system by latent space exploration
and causal inference
- Title（参考訳）: 潜時空間探索と因果推論による未知通信システムへのアプローチ
- Authors: Ga\v{s}per Begu\v{s} and Andrej Leban, Shane Gero
- Abstract要約: 本稿では、教師なし深層生成モデルの潜伏空間を探索し、データ中の有意義な性質を発見する手法を提案する。
我々は、因果推論にインスパイアされた手法を用いて、個々の潜伏変数を極端な値に操作する。
この手法がモデル解釈可能性の洞察を与えることを示す。
- 参考スコア（独自算出の注目度）: 5.026037329977691
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper proposes a methodology for discovering meaningful properties in
data by exploring the latent space of unsupervised deep generative models. We
combine manipulation of individual latent variables to extreme values with
methods inspired by causal inference into an approach we call causal
disentanglement with extreme values (CDEV) and show that this method yields
insights for model interpretability. With this, we can test for what properties
of unknown data the model encodes as meaningful, using it to glean insight into
the communication system of sperm whales (Physeter macrocephalus), one of the
most intriguing and understudied animal communication systems. The network
architecture used has been shown to learn meaningful representations of speech;
here, it is used as a learning mechanism to decipher the properties of another
vocal communication system in which case we have no ground truth. The proposed
methodology suggests that sperm whales encode information using the number of
clicks in a sequence, the regularity of their timing, and audio properties such
as the spectral mean and the acoustic regularity of the sequences. Some of
these findings are consistent with existing hypotheses, while others are
proposed for the first time. We also argue that our models uncover rules that
govern the structure of units in the communication system and apply them while
generating innovative data not shown during training. This paper suggests that
an interpretation of the outputs of deep neural networks with causal inference
methodology can be a viable strategy for approaching data about which little is
known and presents another case of how deep learning can limit the hypothesis
space. Finally, the proposed approach can be extended to other architectures
and datasets.
- Abstract（参考訳）: 本稿では,教師なし深層生成モデルの潜在空間を探索し,データ中の有意義な性質を発見する手法を提案する。
個々の潜在変数を極値に操作し,因果推論に触発された手法をcdev(causal disentanglement with extreme values)と呼ぶアプローチに組み合わせることで,モデル解釈可能性に対する洞察が得られることを示す。
これにより、モデルが有意義にエンコードする未知のデータの性質を検証し、最も興味深く調査された動物コミュニケーションシステムの一つであるクジラクジラ(Physeter macrocephalus)のコミュニケーションシステムについての洞察を深めることが出来る。
ネットワークアーキテクチャは、音声の有意義な表現を学習するために用いられており、ここでは、基礎的真実を持たない場合の他の音声通信システムの特性を解読する学習メカニズムとして用いられる。
提案手法は, コウクジラが, 一連のクリック数, タイミングの規則性, スペクトル平均, 音の規則性などの音響特性を用いて, 情報をエンコードしていることを示唆している。
これらの発見の一部は既存の仮説と一致しているが、他の発見は初めて提案されている。
また,学習中に提示されない革新的なデータを生成しながら,通信システム内のユニット構造を統制し,それらを適用するためのルールを明らかにする。
本稿では,因果推論手法を用いた深層ニューラルネットワークのアウトプットの解釈は,未知なデータに近づくための有効な戦略であり,深層学習が仮説空間を制限できる別の事例を示す。
最後に、提案されたアプローチは他のアーキテクチャやデータセットにも拡張できる。
関連論文リスト
- Seeing Unseen: Discover Novel Biomedical Concepts via
Geometry-Constrained Probabilistic Modeling [53.7117640028211]
同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。
構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。
スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
論文 参考訳（メタデータ） (2024-03-02T00:56:05Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-29T09:41:19Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳（メタデータ） (2023-06-07T21:35:26Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - Experimental Observations of the Topology of Convolutional Neural
Network Activations [2.4235626091331737]
トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。
ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。
本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
論文 参考訳（メタデータ） (2022-12-01T02:05:44Z) - Learning Dynamics from Noisy Measurements using Deep Learning with a
Runge-Kutta Constraint [9.36739413306697]
そこで本研究では,雑音と疎サンプルを用いた微分方程式の学習手法について論じる。
我々の方法論では、ディープニューラルネットワークと古典的な数値積分法の統合において、大きな革新が見られる。
論文 参考訳（メタデータ） (2021-09-23T15:43:45Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳（メタデータ） (2021-07-02T01:55:18Z) - Model discovery in the sparse sampling regime [0.0]
深層学習が部分微分方程式のモデル発見をいかに改善できるかを示す。
その結果、ディープラーニングに基づくモデル発見は、基礎となる方程式を復元することができる。
我々は合成集合と実験集合の両方について主張する。
論文 参考訳（メタデータ） (2021-05-02T06:27:05Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳（メタデータ） (2021-02-15T18:46:44Z) - Local and non-local dependency learning and emergence of rule-like
representations in speech data by Deep Convolutional Generative Adversarial
Networks [0.0]
本稿では、音声データにおける局所的および非局所的依存関係に対するGANのトレーニングは、ディープニューラルネットワークが連続データをどのように識別するかについての洞察を与える。
論文 参考訳（メタデータ） (2020-09-27T00:02:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。