論文の概要: Explaining Representation by Mutual Information

• arxiv url: http://arxiv.org/abs/2103.15114v2
• Date: Sat, 19 Apr 2025 12:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-01 05:31:00.001131
• Title: Explaining Representation by Mutual Information
• Title（参考訳）: 相互情報による表現の説明
• Authors: Lifeng Gu,
• Abstract要約: ニューラルネットワーク表現を3つの完全成分に分解する相互情報(MI)に基づく手法を提案する。 CNNやTransformerなどのアーキテクチャに統合された2つの軽量モジュールを用いて,これらのコンポーネントを推定し,解釈能力を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As interpretability gains attention in machine learning, there is a growing need for reliable models that fully explain representation content. We propose a mutual information (MI)-based method that decomposes neural network representations into three exhaustive components: total mutual information, decision-related information, and redundant information. This theoretically complete framework captures the entire input-representation relationship, surpassing partial explanations like those from Grad-CAM. Using two lightweight modules integrated into architectures such as CNNs and Transformers,we estimate these components and demonstrate their interpretive power through visualizations on ResNet and prototype network applied to image classification and few-shot learning tasks. Our approach is distinguished by three key features: 1. Rooted in mutual information theory, it delivers a thorough and theoretically grounded interpretation, surpassing the scope of existing interpretability methods. 2. Unlike conventional methods that focus on explaining decisions, our approach centers on interpreting representations. 3. It seamlessly integrates into pre-existing network architectures, requiring only fine-tuning of the inserted modules.
• Abstract（参考訳）: 機械学習における解釈可能性の注目が高まるにつれ、表現内容を完全に説明できる信頼性の高いモデルの必要性が高まっている。 本稿では,ニューラルネットワーク表現を3つの網羅的構成要素(全相互情報,決定関連情報,冗長情報)に分解する相互情報(MI)に基づく手法を提案する。 この理論的に完全なフレームワークは、Grad-CAMのような部分的な説明を超越して、入力-表現関係全体をキャプチャする。 CNNやTransformersなどのアーキテクチャに統合された2つの軽量モジュールを用いて、これらのコンポーネントを推定し、ResNet上の可視化とプロトタイプネットワークを用いて、画像分類や少数ショット学習タスクに適用した解釈能力を示す。 私たちのアプローチには3つの重要な特徴があります。 1. 相互情報理論において、既存の解釈可能性手法の範囲を超越した、徹底的で理論的な解釈を提供する。 2. 意思決定の説明に焦点をあてる従来の手法とは異なり, 提案手法は表現の解釈に重点を置いている。 3. 既存のネットワークアーキテクチャにシームレスに統合され、挿入されたモジュールを微調整するだけでよい。

関連論文リスト

• Escaping Plato's Cave: Robust Conceptual Reasoning through Interpretable 3D Neural Object Volumes [65.63534641857476]
  画像分類における解釈可能性とロバスト性を統一する新しい方向であるCAVE(Concept Aware Volumes for Explanations)を紹介する。 本研究では,既存の3次元認識型分類器をボリューム表現から抽出した概念で拡張することで,本質的に解釈可能かつ堅牢な分類器を設計する。 解釈可能性のための定量的メトリクスの配列において、説明可能なAI文献全体にわたる異なる概念ベースのアプローチと比較し、CAVEが画像間で一貫して使用されるよく構築された概念を発見し、優れたロバスト性を実現していることを示す。
  論文  参考訳（メタデータ） (2025-03-17T17:55:15Z)
• Interpretable Image Classification via Non-parametric Part Prototype Learning [14.390730075612248]
  解釈可能な意思決定プロセスで画像を分類することは、コンピュータビジョンにおける長年の問題である。 近年、自己説明可能なニューラルネットワークのアプローチとして、プロトタイプのPart Networksが注目を集めている。 本稿では,各クラスに対して意味的に固有のオブジェクト部品の集合を学習する,部分的解釈可能な画像分類のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-13T10:46:53Z)
• Decompose the model: Mechanistic interpretability in image models with Generalized Integrated Gradients (GIG) [24.02036048242832]
  本稿では,すべての中間層を経由した入力から,データセット全体の最終的な出力まで,経路全体をトレースする新しい手法を提案する。 本稿では,PFV(Pointwise Feature Vectors)とERF(Effective Receptive Fields)を用いて,モデル埋め込みを解釈可能な概念ベクトルに分解する。 そして,汎用統合勾配(GIG)を用いて概念ベクトル間の関係を計算し,モデル行動の包括的,データセットワイドな解析を可能にする。
  論文  参考訳（メタデータ） (2024-09-03T05:19:35Z)
• MOUNTAINEER: Topology-Driven Visual Analytics for Comparing Local Explanations [6.835413642522898]
  トポロジカルデータ解析(TDA)は、属性を一様グラフ表現に変換するために使用できるため、この領域で有効な方法である。 我々は、新しいトポロジ駆動視覚分析ツールであるMountaineerを紹介し、機械学習の実践者がこれらの表現をインタラクティブに分析し比較できるようにする。 我々は、Mountaineerによって、ブラックボックスMLの説明と、異なる説明の相違の原因を識別する領域を比較できることを示す。
  論文  参考訳（メタデータ） (2024-06-21T19:28:50Z)
• Revisiting Self-supervised Learning of Speech Representation from a Mutual Information Perspective [68.20531518525273]
  我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。 我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。 我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
  論文  参考訳（メタデータ） (2024-01-16T21:13:22Z)
• Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
  本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。 本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。 この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
  論文  参考訳（メタデータ） (2024-01-09T16:16:16Z)
• Concept-Centric Transformers: Enhancing Model Interpretability through Object-Centric Concept Learning within a Shared Global Workspace [1.6574413179773757]
  概念中心変換器は、解釈可能性のための共有グローバルワークスペースの単純かつ効果的な構成である。 本モデルでは,すべての問題に対して,すべてのベースラインの分類精度が向上することを示す。
  論文  参考訳（メタデータ） (2023-05-25T06:37:39Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
  本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。 提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。 実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-08-31T03:00:07Z)
• Fair Interpretable Representation Learning with Correction Vectors [60.0806628713968]
  我々は「補正ベクトル」の学習を中心にした公正表現学習のための新しい枠組みを提案する。 このような方法で制約されたいくつかの公正表現学習モデルが、ランキングや分類性能の損失を示さないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-02-07T11:19:23Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Understand me, if you refer to Aspect Knowledge: Knowledge-aware Gated Recurrent Memory Network [54.735400754548635]
  アスペクトレベルの感情分類(ASC)は、レビューで言及された特定の側面に対する微粒な感情極性を予測することを目的としている。 最近のASCの進歩にもかかわらず、マシンが重要な側面の感情を推測できるようにすることは依然として困難である。 本稿では,(1)アスペクト知識の欠如によるアスペクト表現がアスペクトの正確な意味と特性情報を表現するのに不十分であること,(2)先行研究は局所的な構文情報とグローバルな関係情報のみを捉えること,という2つの課題に対処する。
  論文  参考訳（メタデータ） (2021-08-05T03:39:30Z)
• Fair Representation Learning using Interpolation Enabled Disentanglement [9.043741281011304]
  a) 下流タスクに対する学習された表現の有用性を確保しつつ、公平な不整合表現を同時に学べるか、(b) 提案手法が公正かつ正確であるかどうかに関する理論的知見を提供する。 前者に対応するために,補間可能外乱を用いた公正表現学習法FRIEDを提案する。
  論文  参考訳（メタデータ） (2021-07-31T17:32:12Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• InfoVAEGAN : learning joint interpretable representations by information maximization and maximum likelihood [15.350366047108103]
  本稿では,変分オートエンコーダ(VAE)の推論能力とGAN(Generative Adversarial Networks)の機能を組み合わせた表現学習アルゴリズムを提案する。 提案したモデルはInfoVAEGANと呼ばれ、ジェネレータとディスクリミネータの3つのネットワークで構成されている。
  論文  参考訳（メタデータ） (2021-07-09T22:38:10Z)
• Mapping the Internet: Modelling Entity Interactions in Complex Heterogeneous Networks [0.0]
  サンプル表現、モデル定義、トレーニングのための汎用性のある統一フレームワークHMill'を提案します。 フレームワークに実装されたモデルによって実現されたすべての関数の集合に対する普遍近似定理の拡張を示す。 このフレームワークを使ってサイバーセキュリティドメインから3つの異なる問題を解決する。
  論文  参考訳（メタデータ） (2021-04-19T21:32:44Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Latent Feature Representation via Unsupervised Learning for Pattern Discovery in Massive Electron Microscopy Image Volumes [4.278591555984395]
  特に,データセットにおける意味的類似性を捉える潜在表現を学ぶための教師なしのディープラーニングアプローチを提案する。 動物脳の比較的小さな部分でもテラバイトの画像を要求できるナノスケールの電子顕微鏡データに適用する手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-12-22T17:14:19Z)
• Visual Concept Reasoning Networks [93.99840807973546]
  分割変換マージ戦略は、視覚認識タスクのための畳み込みニューラルネットワークのアーキテクチャ制約として広く使用されている。 我々は、この戦略を利用して、高レベルの視覚概念間の推論を可能にするために、Visual Concept Reasoning Networks (VCRNet) と組み合わせることを提案する。 提案するモデルであるVCRNetは、パラメータ数を1%以下にすることで、一貫して性能を向上する。
  論文  参考訳（メタデータ） (2020-08-26T20:02:40Z)
• Obtaining Faithful Interpretations from Compositional Neural Networks [72.41100663462191]
  NLVR2およびDROPデータセット上でNMNの中間出力を評価する。 中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
  論文  参考訳（メタデータ） (2020-05-02T06:50:35Z)
• A Theory of Usable Information Under Computational Constraints [103.5901638681034]
  本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。 我々の基礎はシャノンの情報理論の変分拡張に基づいている。 計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
  論文  参考訳（メタデータ） (2020-02-25T06:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。