論文の概要: Interpretability Without Tradeoffs: Disentangling Polysemanticity At Equal Predictive Performance

• arxiv url: http://arxiv.org/abs/2605.31304v1
• Date: Fri, 29 May 2026 13:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.640528
• Title: Interpretability Without Tradeoffs: Disentangling Polysemanticity At Equal Predictive Performance
• Title（参考訳）: トレードオフのない解釈可能性: 平等な予測性能で多面性を引き離す
• Abstract要約: ELUDeはディープニューラルネットワークの解釈可能性を改善する方法である。 潜在表現を、解釈可能な機能のように振る舞う透明で検査可能なサブユニットに分解する。 明示的なトレーニングもラベルも必要とせず、事前訓練されたモデルにも適用できる。
• 参考スコア（独自算出の注目度）: 58.49623467782041
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are widely used, but interpreting what they actually learn remains difficult. A major obstacle is that individual neurons often encode multiple unrelated concepts, obscuring the decision process of the network. While prior work, such as sparse autoencoders, can separate these mixed signals into more meaningful, "monosemantic" features, this typically requires altering the model in ways that can degrade downstream performance. To overcome this, we introduce ELUDe (explicit, lossless, unsupervised disentanglement), a method for improving the interpretability of DNNs while preserving their functional equivalence. ELUDe breaks latent representations into clear, inspectable sub-units that behave like interpretable features, while guaranteeing that the model's outputs remain exactly the same. It requires no explicit training, no labels, and can be applied to pretrained models. ELUDe works by reorganizing how information flows between layers, re-routing concept-specific contributions while preserving the original computation by construction. Across several vision models, including DINOv2 and supervised ViT-B/16, ELUDe improves interpretability, keeps downstream accuracy unchanged, runs efficiently, and supports practical uses such as steering model representations. In short, ELUDe offers interpretability (almost) without a tradeoff: clearer, scalable, and actionable model insights with no loss in performance.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は広く使われているが、実際に学んだことを解釈することは依然として難しい。 主な障害は、個々のニューロンが複数の無関係な概念を符号化し、ネットワークの決定過程を無視することである。 スパースオートエンコーダのような以前の作業では、これらの混合信号をより意味のある「モノスマンティック」な特徴に分離することができるが、通常は下流のパフォーマンスを低下させる方法でモデルを変更する必要がある。 そこで本稿では,機能的等価性を保ちながら,DNNの解釈性を向上させる方法であるELUDe(Explicit, Losless, Unsupervised disentanglement)を導入する。 ELUDeは遅延表現を、解釈可能な機能のように振る舞う透明で検査可能なサブユニットに分割する。 明示的なトレーニングもラベルも必要とせず、事前訓練されたモデルにも適用できる。 ELUDeは、レイヤ間の情報の流れを再編成し、構成による元の計算を保ちながら、概念固有のコントリビューションを再ルートする。 DINOv2や教師付きViT-B/16など、複数のビジョンモデルに対して、ELUDeは解釈性を改善し、下流の精度を維持し、効率的に動作し、ステアリングモデル表現などの実用的な用途をサポートする。 簡単に言うと、ELUDeは(ほとんど)トレードオフのない解釈可能性を提供する。

関連論文リスト

• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• Sparse but not Simpler: A Multi-Level Interpretability Analysis of Vision Transformers [5.6842776317118835]
  We evaluate the relationship between weight sparsity and interpretability in Vision Transformers using DeiT-III B/16 models pruned with Wanda。 その結果, 構造的効果は明らかだが, 解釈可能性の向上は限られていることがわかった。 これらの結果は、構造的疎結合だけでは、より解釈可能な視覚モデルが確実に得られないことを示唆している。
  論文  参考訳（メタデータ） (2026-03-16T21:13:49Z)
• Efficient Representations are Controllable Representations [0.0]
  LLMの内部的な概念の表現方法を制御するには、まずモデルを識別し、次にモデルの既存の特徴幾何学に介入する洗練された方法が必要である。 単純な補助損失でLCMを微調整し、3072の残留ストリーム次元のうち16を、生成に必要な概念を示す不活性な解釈可能性フラグとして訓練する。 その結果、これらの不活性フラグは真の内部機能となり、解釈可能な制御スイッチによって推論時に生成を制御できます。
  論文  参考訳（メタデータ） (2026-02-08T05:32:02Z)
• Learning a Generative Meta-Model of LLM Activations [75.30161960337892]
  ネットワークの内部状態の分布を学習する"メタモデル"を作成します。 ステアリング介入前に学んだメタモデルを適用することで、損失が減少するにつれて、流速が向上する。 これらの結果は、生成的メタモデルが制限的な構造的仮定を伴わずに、解釈可能性へのスケーラブルな経路を提供することを示唆している。
  論文  参考訳（メタデータ） (2026-02-06T18:59:56Z)
• Interpret the Internal States of Recommendation Model with Sparse Autoencoder [28.234859617081295]
  RecSAEは、Sparse AutoEncoderでRecommendersを解釈する自動化され、一般化可能なプローブフレームワークである。 これはレコメンデーションモデルの内部状態から解釈可能なラテントを抽出し、解釈のセマンティックな概念にリンクする。 RecSAEは解釈中にオリジナルのモデルを変更せず、解釈結果に基づいたモデルへのターゲットのデバイアスを可能にする。
  論文  参考訳（メタデータ） (2024-11-09T08:22:31Z)
• Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
  本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。 自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
  論文  参考訳（メタデータ） (2022-09-23T18:36:01Z)
• Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps [85.49020931411825]
  限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。 本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。 本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-07T01:12:11Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Combining Discrete Choice Models and Neural Networks through Embeddings: Formulation, Interpretability and Performance [10.57079240576682]
  本研究では、ニューラルネットワーク(ANN)を用いた理論とデータ駆動選択モデルを組み合わせた新しいアプローチを提案する。 特に、分類的または離散的説明変数を符号化するために、埋め込みと呼ばれる連続ベクトル表現を用いる。 我々のモデルは最先端の予測性能を提供し、既存のANNモデルよりも優れ、必要なネットワークパラメータの数を劇的に削減します。
  論文  参考訳（メタデータ） (2021-09-24T15:55:31Z)
• It's FLAN time! Summing feature-wise latent representations for interpretability [0.0]
  FLAN(Feature-wise Latent Additive Networks)と呼ばれる構造拘束型ニューラルネットワークの新たなクラスを提案する。 FLANは各入力機能を別々に処理し、それぞれに共通の潜在空間の表現を演算する。 これらの特徴的潜在表現は単純に要約され、集約された表現は予測に使用される。
  論文  参考訳（メタデータ） (2021-06-18T12:19:33Z)
• Making Sense of CNNs: Interpreting Deep Representations & Their Invariances with INNs [19.398202091883366]
  INN に基づくアプローチとして, (i) タスク固有の学習的不変性を, (ii) モデル表現と組み合わさった不変性を, (ii) アクセシブルなセマンティックな概念によって, 可逆的に変換する手法を提案する。 我々の非可逆的アプローチは、その性能を損なうことなく、最先端ネットワークのポストホックな解釈を可能にすることでブラックボックスモデルを理解する能力を大幅に拡張する。
  論文  参考訳（メタデータ） (2020-08-04T19:27:46Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。