論文の概要: Provenance Networks: End-to-End Exemplar-Based Explainability
- arxiv url: http://arxiv.org/abs/2510.03361v1
- Date: Fri, 03 Oct 2025 01:48:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:58.929807
- Title: Provenance Networks: End-to-End Exemplar-Based Explainability
- Title(参考訳): Provenance Networks: 端から端までの経験に基づく説明可能性
- Authors: Ali Kayyam, Anusha Madan Gopal, M. Anthony Lewis,
- Abstract要約: 私たちは、エンドツーエンドのトレーニングデータ駆動型説明可能性を提供するように設計された、新しいニューラルネットワークのクラスである、プロフェランスネットワークを紹介します。
確率ネットワークは、モデルの通常の操作の一部として、各予測を支援トレーニングの例に直接リンクすることを学ぶ。
これは、モデル不透明さ、幻覚、データコントリビュータへのクレジットの割り当てなど、現代のディープラーニングにおける重要な課題に対処する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce provenance networks, a novel class of neural models designed to provide end-to-end, training-data-driven explainability. Unlike conventional post-hoc methods, provenance networks learn to link each prediction directly to its supporting training examples as part of the model's normal operation, embedding interpretability into the architecture itself. Conceptually, the model operates similarly to a learned KNN, where each output is justified by concrete exemplars weighted by relevance in the feature space. This approach facilitates systematic investigations of the trade-off between memorization and generalization, enables verification of whether a given input was included in the training set, aids in the detection of mislabeled or anomalous data points, enhances resilience to input perturbations, and supports the identification of similar inputs contributing to the generation of a new data point. By jointly optimizing the primary task and the explainability objective, provenance networks offer insights into model behavior that traditional deep networks cannot provide. While the model introduces additional computational cost and currently scales to moderately sized datasets, it provides a complementary approach to existing explainability techniques. In particular, it addresses critical challenges in modern deep learning, including model opaqueness, hallucination, and the assignment of credit to data contributors, thereby improving transparency, robustness, and trustworthiness in neural models.
- Abstract(参考訳): 私たちは、エンドツーエンドのトレーニングデータ駆動型説明可能性を提供するように設計された、新しいニューラルネットワークのクラスである、プロフェランスネットワークを紹介します。
従来のポストホック法とは異なり、プロフェランスネットワークは、モデルが通常の操作の一部としてサポートするトレーニング例に直接、各予測をリンクすることを学び、解釈可能性をアーキテクチャ自体に埋め込む。
概念的には、モデルは学習されたKNNと同様に動作し、各出力は特徴空間の関連性によって重み付けられた具体的な例によって正当化される。
この手法は,記憶と一般化のトレードオフを体系的に調査し,与えられた入力がトレーニングセットに含まれるかどうかを検証し,誤ラベルや異常なデータポイントの検出を支援し,入力摂動に対するレジリエンスを高め,新たなデータポイントの生成に寄与する類似した入力の識別を支援する。
主要なタスクと説明可能性の目的を共同で最適化することにより、従来のディープネットワークでは提供できないモデル行動に関する洞察を提供する。
このモデルは追加の計算コストを導入し、現在、適度なサイズのデータセットにスケールしているが、既存の説明可能性技術に補完的なアプローチを提供する。
特に、モデル不透明性、幻覚、データコントリビュータへの信用の割り当てなど、現代のディープラーニングにおける重要な課題に対処することで、ニューラルネットワークの透明性、堅牢性、信頼性の向上を実現している。
関連論文リスト
- Concept-Based Mechanistic Interpretability Using Structured Knowledge Graphs [3.429783703166407]
我々のフレームワークは、内部モデルコンポーネントを通して高レベルのセマンティック属性がどのように出現し、相互作用し、伝播するかを分析することによって、モデル行動のグローバルな分離を可能にします。
重要なイノベーションは、私たちがBAGELと名付けた視覚化プラットフォームです。
私たちのフレームワークはモデルに依存しないスケーラブルで、データセットバイアスの存在下でディープラーニングモデルがどのように一般化(あるいは失敗)するかを深く理解するのに役立ちます。
論文 参考訳(メタデータ) (2025-07-08T09:30:20Z) - Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [55.914891182214475]
モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。
本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。
残る技術的課題や倫理的考察も分析する。
論文 参考訳(メタデータ) (2025-06-05T05:42:27Z) - A Comprehensive Survey on Self-Interpretable Neural Networks [36.0575431131253]
自己解釈型ニューラルネットワークは、本質的にモデル構造を通して予測合理的性を明らかにする。
まず、自己解釈型ニューラルネットワークに関する既存の研究を収集、レビューし、その方法論を構造化した概要を提供する。
また、モデル説明の具体的、可視化された例を示し、その適用性について様々なシナリオで論じる。
論文 参考訳(メタデータ) (2025-01-26T18:50:16Z) - Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric
Learning [1.4293924404819704]
我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。
単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。
我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
論文 参考訳(メタデータ) (2023-11-17T00:35:38Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - Explainable Adversarial Attacks in Deep Neural Networks Using Activation
Profiles [69.9674326582747]
本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。
これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
論文 参考訳(メタデータ) (2021-03-18T13:04:21Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。