論文の概要: ICON Decomposition: Multivariate Concept-Level Explanations of Deep Representations for Model Auditing
- arxiv url: http://arxiv.org/abs/2608.26083v1
- Date: Wed, 26 Aug 2026 17:47:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:16.012738
- Title: ICON Decomposition: Multivariate Concept-Level Explanations of Deep Representations for Model Auditing
- Title(参考訳): ICON分解:モデル監査のための深部表現の多変量概念-レベル説明
- Abstract要約: ディープニューラルネットワークは、しばしば、ショートカット学習として知られる失敗であるトレーニングデータにおいて、急激な関連性を利用する。
ネットワーク層から患者の性設定やスキャナ設定などの概念をデコードできるかどうかをテストすることで、ショートカットのコンセプトベースの説明可能性メソッドをスクリーニングする。
我々は、ICON分解を導入し、その代わりに、他のすべての概念と結果を考慮して各概念がどの程度の分散を説明できるかを定量化する。
皮膚疾患モデルと脳画像モデルにおいて、モデルが真に依存する概念を分離し、供給された概念のいずれかによって説明されていない表現を定量化し、我々が検証するまばらな説明を得る。
- 参考スコア(独自算出の注目度): 15.846631139316678
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep neural networks often exploit spurious associations in their training data, a failure known as shortcut learning. Concept-based explainability methods screen for shortcuts by testing whether concepts such as a patient's sex or scanner settings can be decoded from a network layer. Because each concept is evaluated in isolation, these methods can mistake correlations between concepts as evidence that the model uses them. We introduce ICON decomposition, which instead quantifies how much of a layer's variance each concept explains after accounting for all other concepts and the outcome. On synthetic data with known ground truth, ICON recovers concept importance more accurately than seven alternative baseline methods. On skin-lesion and brain-imaging models, it isolates the concepts on which a model genuinely relies, quantifies the representation unexplained by any of the supplied concepts, and yields sparse explanations that we validate by retraining and out-of-distribution testing.
- Abstract(参考訳): ディープニューラルネットワークは、しばしば、ショートカット学習として知られる失敗であるトレーニングデータにおいて、急激な関連性を利用する。
ネットワーク層から患者の性設定やスキャナ設定などの概念をデコードできるかどうかをテストすることで、ショートカットのコンセプトベースの説明可能性メソッドをスクリーニングする。
それぞれの概念は独立して評価されるので、これらの手法はモデルがそれらを使用する証拠として概念間の相関を誤る可能性がある。
我々は、ICON分解を導入し、その代わりに、他のすべての概念と結果を考慮して各概念がどの程度の分散を説明できるかを定量化する。
ICONは、既知の地上の真実を持つ合成データに基づいて、概念の重要性を7つの代替ベースライン法よりも正確に回復する。
皮膚受傷モデルと脳画像モデルでは、モデルが真に依存する概念を分離し、供給された概念のいずれかによって説明されていない表現を定量化し、私たちが再訓練とアウト・オブ・ディストリビューションテストによって検証するスパースな説明を与える。
関連論文リスト
- Interpreting Object-Dependent Concept Brittleness in Text-to-Image Diffusion Models [105.53190946111586]
我々はこの現象をオブジェクト依存概念の脆さと呼ぶ。
これらの障害を監査し、最小限に修正する、解釈可能性指向のフレームワークを提案する。
複数の拡散バックボーンにまたがるスタイルと属性の故障事例について,提案手法の評価を行った。
論文 参考訳(メタデータ) (2026-09-09T09:07:40Z) - Rethinking Concept Bottleneck Models: From Pitfalls to Solutions [53.84388497227224]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念の基底予測である。
CBM-Suiteはこれらの課題に対処するための方法論的なフレームワークである。
論文 参考訳(メタデータ) (2026-03-05T19:37:49Z) - FaCT: Faithful Concept Traces for Explaining Neural Network Decisions [56.796533084868884]
ディープネットワークは、幅広いタスクで顕著なパフォーマンスを示しているが、それらの機能に関するグローバルな概念レベルの理解は、依然として重要な課題である。
本稿では,概念に基づく説明の忠実さを強調し,モデル独立な機械的概念説明を用いた新しいモデルを提案する。
私たちの概念はクラス間で共有され、あらゆるレイヤから、ロジットへの貢献と入力-視覚化を忠実にトレースすることができます。
論文 参考訳(メタデータ) (2025-10-29T13:35:46Z) - Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。
神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。
私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
論文 参考訳(メタデータ) (2025-05-16T13:49:43Z) - Fine-Grained Erasure in Text-to-Image Diffusion-based Foundation Models [56.35484513848296]
FADE(Fine grained Attenuation for Diffusion Erasure)は、テキストから画像への生成モデルのための非学習アルゴリズムである。
関連する概念に最小限の影響で目標概念を排除し、最先端の手法よりも保持性能が12%向上した。
論文 参考訳(メタデータ) (2025-03-25T15:49:48Z) - Shortcuts and Identifiability in Concept-based Models from a Neuro-Symbolic Lens [16.834053030732548]
概念ベースモデル(concept-based Model)は、入力を高レベルな概念にマッピングする概念抽出器と、これらを予測に変換する推論層を学習するニューラルネットワークである。
概念ベースモデルと推論ショートカット(RS)の新たな接続を確立することでこの問題を研究する。
実験の結果は、RSの影響を浮き彫りにし、既存の手法と複数の自然緩和戦略が組み合わさっても、実際にこれらの条件を満たせない場合が多いことを示している。
論文 参考訳(メタデータ) (2025-02-16T19:45:09Z) - Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。
本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。
我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
論文 参考訳(メタデータ) (2024-07-19T17:50:11Z) - Implicit Concept Removal of Diffusion Models [92.55152501707995]
テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。
幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
論文 参考訳(メタデータ) (2023-10-09T17:13:10Z) - Attributing Learned Concepts in Neural Networks to Training Data [5.930268338525991]
コンバージェンス(収束)の証拠として,概念の上位1万個の画像を取り除き,モデルの再トレーニングを行うと,ネットワーク内の概念の位置が変化しない。
このことは、概念の発達を知らせる特徴が、概念形成の堅牢さを暗示して、その先例にまたがるより拡散した方法で広がることを示唆している。
論文 参考訳(メタデータ) (2023-10-04T20:26:59Z) - A Recursive Bateson-Inspired Model for the Generation of Semantic Formal
Concepts from Spatial Sensory Data [77.34726150561087]
本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。
このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。
このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
論文 参考訳(メタデータ) (2023-07-16T15:59:13Z) - Unit Testing for Concepts in Neural Networks [20.86261546611472]
本稿では,システムの動作がFodorの基準と一致しているかどうかを評価するためのユニットテストを提案する。
モデルが基礎性、モジュラリティ、概念の再使用性のテストで成功することは分かっていますが、因果性に関する重要な疑問は未解決のままです。
論文 参考訳(メタデータ) (2022-07-28T08:49:32Z) - Probing Classifiers are Unreliable for Concept Removal and Detection [18.25734277357466]
テキストデータに基づいてトレーニングされたニューラルネットワークモデルは、その表現において望ましくない言語的あるいはセンシティブな概念を符号化する。
近年の研究では、そのような不要な概念をモデル表現から除去するためのポストホックおよび逆法が提案されている。
これらの手法は非生産的であり、最悪の場合、すべてのタスク関連機能を破壊する可能性がある。
論文 参考訳(メタデータ) (2022-07-08T23:15:26Z) - DISSECT: Disentangled Simultaneous Explanations via Concept Traversals [33.65478845353047]
DISSECTは、ディープラーニングモデル推論を説明するための新しいアプローチである。
DISSECTは、分類器の信号から生成モデルを訓練することにより、異なる概念の分類器固有の「名詞」を発見する方法を提供する。
DISSECTは,複数の概念を分離し,共同訓練による推論と結合したCTを生成する。
論文 参考訳(メタデータ) (2021-05-31T17:11:56Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳(メタデータ) (2020-10-01T17:51:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。