論文の概要: Smooth InfoMax -- Towards easier Post-Hoc interpretability

• arxiv url: http://arxiv.org/abs/2408.12936v1
• Date: Fri, 23 Aug 2024 09:36:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 15:40:04.881951
• Title: Smooth InfoMax -- Towards easier Post-Hoc interpretability
• Title（参考訳）: Smooth InfoMax -- より簡単なポストホック解釈性を目指して
• Authors: Fabian Denoodt, Bart de Boer, José Oramas,
• Abstract要約: 自己教師型表現学習のための新しい手法であるSmooth InfoMax(SIM)を紹介する。 SIMは、ニューラルネットワークの様々な深さにおける学習された表現に解釈可能性制約を組み込む。 逐次音声データを用いたSIMの性能評価を行い、Greedy InfoMax(GIM)と競合することを示す。
• 参考スコア（独自算出の注目度）: 0.7209758868768354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Smooth InfoMax (SIM), a novel method for self-supervised representation learning that incorporates an interpretability constraint into the learned representations at various depths of the neural network. SIM's architecture is split up into probabilistic modules, each locally optimized using the InfoNCE bound. Inspired by VAEs, the representations from these modules are designed to be samples from Gaussian distributions and are further constrained to be close to the standard normal distribution. This results in a smooth and predictable space, enabling traversal of the latent space through a decoder for easier post-hoc analysis of the learned representations. We evaluate SIM's performance on sequential speech data, showing that it performs competitively with its less interpretable counterpart, Greedy InfoMax (GIM). Moreover, we provide insights into SIM's internal representations, demonstrating that the contained information is less entangled throughout the representation and more concentrated in a smaller subset of the dimensions. This further highlights the improved interpretability of SIM.
• Abstract（参考訳）: Smooth InfoMax(SIM)は,ニューラルネットワークの様々な深さで学習された表現に解釈可能性制約を組み込む,自己教師型表現学習の新しい手法である。 SIMのアーキテクチャは確率的モジュールに分割され、それぞれがInfoNCEバウンドを使って局所的に最適化される。 VAEにインスパイアされたこれらの加群からの表現は、ガウス分布からのサンプルとして設計され、さらに標準正規分布に近いように制約されている。 この結果、スムーズで予測可能な空間となり、デコーダを通じて潜在空間のトラバースを可能にし、学習された表現のポストホック解析を容易にする。 逐次的な音声データに対してSIMの性能を評価し,その解釈が不十分なGreedy InfoMax (GIM) と競合することを示す。 さらに、SIMの内部表現に関する洞察を提供し、包含された情報が表現全体を通してより絡み合っており、次元の小さな部分集合に集中していることを示す。 これはSIMの解釈性の向上をさらに強調する。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
  スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。 大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。 その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-01T15:46:22Z)
• Informal Safety Guarantees for Simulated Optimizers Through Extrapolation from Partial Simulations [0.0]
  自己教師付き学習は、最先端の言語モデリングのバックボーンである。 自己教師付きデータセットにおける予測損失を伴うトレーニングはシミュレータを引き起こすと論じられている。
  論文  参考訳（メタデータ） (2023-11-29T09:32:56Z)
• Interpretable time series neural representation for classification purposes [3.1201323892302444]
  提案したモデルは、一貫した、離散的で、解釈可能で、可視化可能な表現を生成する。 実験の結果,提案したモデルでは,複数のデータセットに対する他の解釈可能なアプローチよりも平均的に優れた結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-25T15:06:57Z)
• Unsupervised Visual Representation Learning via Mutual Information Regularized Assignment [31.00769817116771]
  情報に触発された教師なし表現学習のための擬似ラベルアルゴリズムを提案する。 MIRAは、線形/k-NN評価や転送学習など、さまざまな下流タスクで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-11-04T06:49:42Z)
• SynopSet: Multiscale Visual Abstraction Set for Explanatory Analysis of DNA Nanotechnology Simulations [60.05887213349294]
  DNAナノテクノロジー領域における分子動力学シミュレーション(MDS)の説明的解析のための視覚表現の連続性を持つ新しい抽象集合(SynopSet)を提案する。 この集合はまた、すべての空間的および時間的詳細と全ての構造的複雑さを示すことができるように設計されている。 我々の表現の集合は、SynopSpaceと呼ばれる可視化空間に体系的に配置できることを示してきた。
  論文  参考訳（メタデータ） (2022-04-18T06:53:52Z)
• SimSR: Simple Distance-based State Representation for Deep Reinforcement Learning [14.626797887000901]
  本研究は, 深部強化学習手法を用いた画像ベース観測から, 頑健で一般化可能な状態表現の学習方法について検討する。 SimSR(Simple State Representation, SimSR)演算子を設計し, 実測値との比較により, 近似順序で同等の機能を実現する。 我々のモデルは一般により良い性能を達成し、より良い堅牢性と優れた一般化を持つ。
  論文  参考訳（メタデータ） (2021-12-31T04:39:54Z)
• XCM: An Explainable Convolutional Neural Network for Multivariate Time Series Classification [64.41621835517189]
  MTS分類のためのeXplainable Convolutional Neural NetworkであるXCMを提案する。 XCMは、新しいコンパクト畳み込みニューラルネットワークであり、入力データから直接、観測された変数と時間に関する情報を抽出する。 最初に、XCMは、大小のパブリックUEAデータセットにおいて最先端のMSS分類器よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-10T11:55:53Z)
• Spatial Pyramid Based Graph Reasoning for Semantic Segmentation [67.47159595239798]
  セマンティックセグメンテーションタスクにグラフ畳み込みを適用し、改良されたラプラシアンを提案する。 グラフ推論は、空間ピラミッドとして構成された元の特徴空間で直接実行される。 計算とメモリのオーバーヘッドの利点で同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-03-23T12:28:07Z)
• A Theory of Usable Information Under Computational Constraints [103.5901638681034]
  本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。 我々の基礎はシャノンの情報理論の変分拡張に基づいている。 計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
  論文  参考訳（メタデータ） (2020-02-25T06:09:30Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。