論文の概要: Smooth InfoMax -- Towards Easier Post-Hoc Interpretability
- arxiv url: http://arxiv.org/abs/2408.12936v3
- Date: Sat, 21 Jun 2025 20:22:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-24 14:54:00.067627
- Title: Smooth InfoMax -- Towards Easier Post-Hoc Interpretability
- Title(参考訳): Smooth InfoMax -- より簡単なポストホック解釈可能性を目指して
- Authors: Fabian Denoodt, Bart de Boer, José Oramas,
- Abstract要約: Smooth InfoMax (SIM) は、解釈可能性制約をネットワークの異なる深さの潜在表現に組み込む自己教師型表現学習手法である。
SIMはGreedy InfoMaxの大規模トレーニングの利点を保ちながら、階層間のポストホック解釈可能性メソッドの有効性を改善している。
- 参考スコア(独自算出の注目度): 0.7209758868768354
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Smooth InfoMax (SIM), a self-supervised representation learning method that incorporates interpretability constraints into the latent representations at different depths of the network. Based on $\beta$-VAEs, SIM's architecture consists of probabilistic modules optimized locally with the InfoNCE loss to produce Gaussian-distributed representations regularized toward the standard normal distribution. This creates smooth, well-defined, and better-disentangled latent spaces, enabling easier post-hoc analysis. Evaluated on speech data, SIM preserves the large-scale training benefits of Greedy InfoMax while improving the effectiveness of post-hoc interpretability methods across layers.
- Abstract(参考訳): Smooth InfoMax(SIM)は,解釈可能性制約をネットワークの深さの異なる潜在表現に組み込む自己教師型表現学習手法である。
SIMのアーキテクチャは$\beta$-VAEsに基づいて、標準正規分布に向けて正規化されたガウス分布表現を生成するためにInfoNCE損失に最適化された確率的モジュールからなる。
これにより、スムーズで、よく定義され、より分散したラテント空間が生成され、ポストホック解析が容易になる。
音声データから評価すると、SIMはGreedy InfoMaxの大規模トレーニングの利点を保ちながら、階層間のポストホック解釈可能性法の有効性を改善している。
関連論文リスト
- GausSim: Foreseeing Reality by Gaussian Simulator for Elastic Objects [55.02281855589641]
GausSimは、ガウスカーネルを通して表現される現実の弾性物体の動的挙動をキャプチャするために設計された、ニューラルネットワークベースの新しいシミュレータである。
我々は連続体力学を活用し、各カーネルを連続体を表すCenter of Mass System (CMS)として扱う。
さらに、ガウスシムは質量や運動量保存のような明示的な物理制約を取り入れ、解釈可能な結果と堅牢で物理的に妥当なシミュレーションを確実にする。
論文 参考訳(メタデータ) (2024-12-23T18:58:17Z) - On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。
我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
論文 参考訳(メタデータ) (2024-10-11T18:02:46Z) - Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。
大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。
その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
論文 参考訳(メタデータ) (2024-08-01T15:46:22Z) - Informal Safety Guarantees for Simulated Optimizers Through
Extrapolation from Partial Simulations [0.0]
自己教師付き学習は、最先端の言語モデリングのバックボーンである。
自己教師付きデータセットにおける予測損失を伴うトレーニングはシミュレータを引き起こすと論じられている。
論文 参考訳(メタデータ) (2023-11-29T09:32:56Z) - Interpretable time series neural representation for classification
purposes [3.1201323892302444]
提案したモデルは、一貫した、離散的で、解釈可能で、可視化可能な表現を生成する。
実験の結果,提案したモデルでは,複数のデータセットに対する他の解釈可能なアプローチよりも平均的に優れた結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-10-25T15:06:57Z) - Unsupervised Visual Representation Learning via Mutual Information
Regularized Assignment [31.00769817116771]
情報に触発された教師なし表現学習のための擬似ラベルアルゴリズムを提案する。
MIRAは、線形/k-NN評価や転送学習など、さまざまな下流タスクで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-11-04T06:49:42Z) - SynopSet: Multiscale Visual Abstraction Set for Explanatory Analysis of
DNA Nanotechnology Simulations [60.05887213349294]
DNAナノテクノロジー領域における分子動力学シミュレーション(MDS)の説明的解析のための視覚表現の連続性を持つ新しい抽象集合(SynopSet)を提案する。
この集合はまた、すべての空間的および時間的詳細と全ての構造的複雑さを示すことができるように設計されている。
我々の表現の集合は、SynopSpaceと呼ばれる可視化空間に体系的に配置できることを示してきた。
論文 参考訳(メタデータ) (2022-04-18T06:53:52Z) - SimSR: Simple Distance-based State Representation for Deep Reinforcement
Learning [14.626797887000901]
本研究は, 深部強化学習手法を用いた画像ベース観測から, 頑健で一般化可能な状態表現の学習方法について検討する。
SimSR(Simple State Representation, SimSR)演算子を設計し, 実測値との比較により, 近似順序で同等の機能を実現する。
我々のモデルは一般により良い性能を達成し、より良い堅牢性と優れた一般化を持つ。
論文 参考訳(メタデータ) (2021-12-31T04:39:54Z) - XCM: An Explainable Convolutional Neural Network for Multivariate Time
Series Classification [64.41621835517189]
MTS分類のためのeXplainable Convolutional Neural NetworkであるXCMを提案する。
XCMは、新しいコンパクト畳み込みニューラルネットワークであり、入力データから直接、観測された変数と時間に関する情報を抽出する。
最初に、XCMは、大小のパブリックUEAデータセットにおいて最先端のMSS分類器よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-09-10T11:55:53Z) - Spatial Pyramid Based Graph Reasoning for Semantic Segmentation [67.47159595239798]
セマンティックセグメンテーションタスクにグラフ畳み込みを適用し、改良されたラプラシアンを提案する。
グラフ推論は、空間ピラミッドとして構成された元の特徴空間で直接実行される。
計算とメモリのオーバーヘッドの利点で同等のパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2020-03-23T12:28:07Z) - A Theory of Usable Information Under Computational Constraints [103.5901638681034]
本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。
我々の基礎はシャノンの情報理論の変分拡張に基づいている。
計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
論文 参考訳(メタデータ) (2020-02-25T06:09:30Z) - Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。
我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
論文 参考訳(メタデータ) (2019-12-30T17:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。