論文の概要: Mechanistic understanding and validation of large AI models with SemanticLens
- arxiv url: http://arxiv.org/abs/2501.05398v1
- Date: Thu, 09 Jan 2025 17:47:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-10 14:00:14.911219
- Title: Mechanistic understanding and validation of large AI models with SemanticLens
- Title（参考訳）: SemanticLensを用いた大規模AIモデルの機械的理解と検証
- Authors: Maximilian Dreyer, Jim Berend, Tobias Labarta, Johanna Vielhaben, Thomas Wiegand, Sebastian Lapuschkin, Wojciech Samek,
- Abstract要約: 航空機のような人間工学的なシステムとは異なり、AIモデルの内部動作はほとんど不透明である。
本稿では、コンポーネントによって符号化された隠れた知識をマッピングするニューラルネットワークの普遍的説明法であるSemanticLensを紹介する。
- 参考スコア（独自算出の注目度）: 13.712668314238082
- License:
- Abstract: Unlike human-engineered systems such as aeroplanes, where each component's role and dependencies are well understood, the inner workings of AI models remain largely opaque, hindering verifiability and undermining trust. This paper introduces SemanticLens, a universal explanation method for neural networks that maps hidden knowledge encoded by components (e.g., individual neurons) into the semantically structured, multimodal space of a foundation model such as CLIP. In this space, unique operations become possible, including (i) textual search to identify neurons encoding specific concepts, (ii) systematic analysis and comparison of model representations, (iii) automated labelling of neurons and explanation of their functional roles, and (iv) audits to validate decision-making against requirements. Fully scalable and operating without human input, SemanticLens is shown to be effective for debugging and validation, summarizing model knowledge, aligning reasoning with expectations (e.g., adherence to the ABCDE-rule in melanoma classification), and detecting components tied to spurious correlations and their associated training data. By enabling component-level understanding and validation, the proposed approach helps bridge the "trust gap" between AI models and traditional engineered systems. We provide code for SemanticLens on https://github.com/jim-berend/semanticlens and a demo on https://semanticlens.hhi-research-insights.eu.
- Abstract（参考訳）: 航空機のような人間工学的なシステムとは異なり、各コンポーネントの役割や依存関係がよく理解されているが、AIモデルの内部動作はほとんど不透明であり、信頼性を損なう。
本稿では,コンポーネント(例えば個々のニューロン)によって符号化された隠れた知識を,CLIPのような基盤モデルの意味的に構造化されたマルチモーダル空間にマッピングする,ニューラルネットワークの普遍的説明法であるSemanticLensを紹介する。
この領域では、ユニークな操作が可能になります。
(i)特定の概念をコードするニューロンを特定するためのテキスト検索
二 モデル表現の体系的解析及び比較
三 ニューロンの自動ラベル付け及び機能的役割の説明
(四)要件に対する意思決定の検証のための監査。
人間の入力なしに完全にスケーラブルで操作できるSemanticLensは、デバッグとバリデーション、モデル知識の要約、予測との推論の整合(例えば、メラノーマ分類におけるABCDEルールの順守)、刺激的な相関と関連するトレーニングデータに関連するコンポーネントの検出に有効であることが示されている。
コンポーネントレベルの理解と検証を可能にすることによって、提案されたアプローチは、AIモデルと従来のエンジニアリングシステムの間の"トラストギャップ"をブリッジするのに役立つ。
We provide code for SemanticLens on https://github.com/jim-berend/semanticlens and a demo on https://semanticlens.hhi-research-insights.eu。
関連論文リスト
- QIXAI: A Quantum-Inspired Framework for Enhancing Classical and Quantum Model Transparency and Understanding [0.0]
ディープラーニングモデルは、解釈可能性の欠如によってしばしば妨げられ、それらを"ブラックボックス"にする。
本稿では、量子インスピレーションによるニューラルネットワークの解釈性向上のための新しいアプローチであるQIXAIフレームワークを紹介する。
このフレームワークは量子システムと古典システムの両方に適用され、様々なモデルにおける解釈可能性と透明性を改善する可能性を示している。
論文 参考訳（メタデータ） (2024-10-21T21:55:09Z) - Neurosymbolic AI approach to Attribution in Large Language Models [5.3454230926797734]
ニューロシンボリックAI(NesyAI)は、ニューラルネットワークの強みと構造化されたシンボリック推論を組み合わせる。
本稿では、NesyAIフレームワークが既存の属性モデルをどのように拡張し、より信頼性が高く、解釈可能で、適応可能なシステムを提供するかを検討する。
論文 参考訳（メタデータ） (2024-09-30T02:20:36Z) - Converging Paradigms: The Synergy of Symbolic and Connectionist AI in LLM-Empowered Autonomous Agents [55.63497537202751]
コネクショニストと象徴的人工知能(AI)の収束を探求する記事
従来、コネクショナリストAIはニューラルネットワークにフォーカスし、シンボリックAIはシンボリック表現とロジックを強調していた。
大型言語モデル(LLM)の最近の進歩は、人間の言語をシンボルとして扱う際のコネクショナリストアーキテクチャの可能性を強調している。
論文 参考訳（メタデータ） (2024-07-11T14:00:53Z) - Interpretable Multimodal Misinformation Detection with Logic Reasoning [40.851213962307206]
本稿では,多モーダル誤情報検出のための論理モデルを提案する。
本稿では,意味のある論理節の自動生成と評価を容易にするニューラル表現を用いた記号論理要素のパラメータ化を行う。
3つの公開データセットの結果は、我々のモデルの有効性と汎用性を示している。
論文 参考訳（メタデータ） (2023-05-10T08:16:36Z) - Neuro-Symbolic Artificial Intelligence (AI) for Intent based Semantic
Communication [85.06664206117088]
6Gネットワークはデータ転送のセマンティクスと有効性(エンドユーザ)を考慮する必要がある。
観測データの背後にある因果構造を学習するための柱としてNeSy AIが提案されている。
GFlowNetは、無線システムにおいて初めて活用され、データを生成する確率構造を学ぶ。
論文 参考訳（メタデータ） (2022-05-22T07:11:57Z) - Interpretable part-whole hierarchies and conceptual-semantic
relationships in neural networks [4.153804257347222]
本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。
本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
論文 参考訳（メタデータ） (2022-03-07T10:56:13Z) - LAP: An Attention-Based Module for Concept Based Self-Interpretation and
Knowledge Injection in Convolutional Neural Networks [2.8948274245812327]
本稿では,自己解釈性を実現するため,新しい注意型プール層であるLAP(Local Attention Pooling)を提案する。
LAPはどんな畳み込みニューラルネットワークにも簡単にプラグインできる。
LAPは一般的なホワイトボックスの説明法よりも、人間の理解しやすく忠実なモデル解釈を提供する。
論文 参考訳（メタデータ） (2022-01-27T21:10:20Z) - A Minimalist Dataset for Systematic Generalization of Perception,
Syntax, and Semantics [131.93113552146195]
我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。
HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。
我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
論文 参考訳（メタデータ） (2021-03-02T01:32:54Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z) - Self-organizing Democratized Learning: Towards Large-scale Distributed
Learning Systems [71.14339738190202]
民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。
本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。
提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
論文 参考訳（メタデータ） (2020-07-07T08:34:48Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳（メタデータ） (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。