論文の概要: Approaching an unknown communication system by latent space exploration
and causal inference
- arxiv url: http://arxiv.org/abs/2303.10931v1
- Date: Mon, 20 Mar 2023 08:09:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 16:22:27.814098
- Title: Approaching an unknown communication system by latent space exploration
and causal inference
- Title(参考訳): 潜時空間探索と因果推論による未知通信システムへのアプローチ
- Authors: Ga\v{s}per Begu\v{s} and Andrej Leban, Shane Gero
- Abstract要約: 本研究では、教師なし深層生成モデルの潜在空間を探索し、データ中の有意義な特性を発見する手法を提案する。
本手法を用いて,クジラのコミュニケーションシステムにおいて意味のあるものを検証する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper proposes a methodology for discovering meaningful properties in
data by exploring the latent space of unsupervised deep generative models. We
combine manipulation of individual latent variables to extreme values outside
the training range with methods inspired by causal inference into an approach
we call causal disentanglement with extreme values (CDEV) and show that this
approach yields insights for model interpretability. Using this technique, we
can infer what properties of unknown data the model encodes as meaningful. We
apply the methodology to test what is meaningful in the communication system of
sperm whales, one of the most intriguing and understudied animal communication
systems. We train a network that has been shown to learn meaningful
representations of speech and test whether we can leverage such unsupervised
learning to decipher the properties of another vocal communication system for
which we have no ground truth. The proposed technique suggests that sperm
whales encode information using the number of clicks in a sequence, the
regularity of their timing, and audio properties such as the spectral mean and
the acoustic regularity of the sequences. Some of these findings are consistent
with existing hypotheses, while others are proposed for the first time. We also
argue that our models uncover rules that govern the structure of communication
units in the sperm whale communication system and apply them while generating
innovative data not shown during training. This paper suggests that an
interpretation of the outputs of deep neural networks with causal methodology
can be a viable strategy for approaching data about which little is known and
presents another case of how deep learning can limit the hypothesis space.
Finally, the proposed approach combining latent space manipulation and causal
inference can be extended to other architectures and arbitrary datasets.
- Abstract(参考訳): 本稿では,教師なし深層生成モデルの潜在空間を探索し,データ中の有意義な性質を発見する手法を提案する。
個々の潜在変数の操作とトレーニング範囲外の極端値と因果推論に触発されたメソッドを組み合わせることで,cdev(causal disentanglement with extreme values)と呼ぶアプローチを提案し,このアプローチがモデル解釈可能性に対する洞察をもたらすことを示す。
この手法を用いることで、モデルがエンコードする未知データの性質を推測することができる。
本研究では,最も興味深い動物コミュニケーションシステムの一つであるクジラクジラのコミュニケーションシステムにおいて,何に意味があるかを検証するために,本手法を適用した。
音声の有意義な表現を学習するネットワークを訓練し、そのような教師なし学習を活用できるかどうかをテストし、基礎的な真理を持たない他の音声通信システムの性質を解読する。
提案手法は, マッコウクジラがシーケンス内のクリック数, タイミングの規則性, スペクトル平均, 音響規則性などの音響特性を用いて情報を符号化することを示唆する。
これらの発見の一部は既存の仮説と一致しているが、他の発見は初めて提案されている。
また,我々のモデルは,マッコウクジラコミュニケーションシステムにおけるコミュニケーションユニットの構造を規定し,訓練中に示されない革新的なデータを生成しながら適用する規則を明らかにする。
本稿では,因果方法論を用いた深層ニューラルネットワークのアウトプットの解釈は,未知なデータに近づくための有効な戦略であり,深層学習が仮説空間を制限できる別の事例を示す。
最後に、潜在空間操作と因果推論を組み合わせたアプローチを他のアーキテクチャや任意のデータセットに拡張することができる。
関連論文リスト
- Seeing Unseen: Discover Novel Biomedical Concepts via
Geometry-Constrained Probabilistic Modeling [53.7117640028211]
同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。
構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。
スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
論文 参考訳(メタデータ) (2024-03-02T00:56:05Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳(メタデータ) (2023-06-07T21:35:26Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳(メタデータ) (2023-01-30T12:38:31Z) - Experimental Observations of the Topology of Convolutional Neural
Network Activations [2.4235626091331737]
トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。
ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。
本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
論文 参考訳(メタデータ) (2022-12-01T02:05:44Z) - Learning Dynamics from Noisy Measurements using Deep Learning with a
Runge-Kutta Constraint [9.36739413306697]
そこで本研究では,雑音と疎サンプルを用いた微分方程式の学習手法について論じる。
我々の方法論では、ディープニューラルネットワークと古典的な数値積分法の統合において、大きな革新が見られる。
論文 参考訳(メタデータ) (2021-09-23T15:43:45Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳(メタデータ) (2021-07-02T01:55:18Z) - Model discovery in the sparse sampling regime [0.0]
深層学習が部分微分方程式のモデル発見をいかに改善できるかを示す。
その結果、ディープラーニングに基づくモデル発見は、基礎となる方程式を復元することができる。
我々は合成集合と実験集合の両方について主張する。
論文 参考訳(メタデータ) (2021-05-02T06:27:05Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳(メタデータ) (2021-02-15T18:46:44Z) - Local and non-local dependency learning and emergence of rule-like
representations in speech data by Deep Convolutional Generative Adversarial
Networks [0.0]
本稿では、音声データにおける局所的および非局所的依存関係に対するGANのトレーニングは、ディープニューラルネットワークが連続データをどのように識別するかについての洞察を与える。
論文 参考訳(メタデータ) (2020-09-27T00:02:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。