論文の概要: Interpretable Concept-Based Memory Reasoning
- arxiv url: http://arxiv.org/abs/2407.15527v2
- Date: Fri, 15 Nov 2024 12:05:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-18 15:36:27.022863
- Title: Interpretable Concept-Based Memory Reasoning
- Title（参考訳）: 解釈可能な概念ベースメモリ推論
- Authors: David Debot, Pietro Barbiero, Francesco Giannini, Gabriele Ciravegna, Michelangelo Diligenti, Giuseppe Marra,
- Abstract要約: コンセプトベースのメモリリゾナー(CMR)は、人間に理解でき、検証可能なタスク予測プロセスを提供するために設計された新しいCBMである。
CMRは、最先端のCBMに対する精度-解釈可能性のトレードオフを向上し、基礎的な真実と整合した論理規則を発見し、規則の介入を可能にし、事前デプロイ検証を可能にする。
- 参考スコア（独自算出の注目度）: 12.562474638728194
- License:
- Abstract: The lack of transparency in the decision-making processes of deep learning systems presents a significant challenge in modern artificial intelligence (AI), as it impairs users' ability to rely on and verify these systems. To address this challenge, Concept Bottleneck Models (CBMs) have made significant progress by incorporating human-interpretable concepts into deep learning architectures. This approach allows predictions to be traced back to specific concept patterns that users can understand and potentially intervene on. However, existing CBMs' task predictors are not fully interpretable, preventing a thorough analysis and any form of formal verification of their decision-making process prior to deployment, thereby raising significant reliability concerns. To bridge this gap, we introduce Concept-based Memory Reasoner (CMR), a novel CBM designed to provide a human-understandable and provably-verifiable task prediction process. Our approach is to model each task prediction as a neural selection mechanism over a memory of learnable logic rules, followed by a symbolic evaluation of the selected rule. The presence of an explicit memory and the symbolic evaluation allow domain experts to inspect and formally verify the validity of certain global properties of interest for the task prediction process. Experimental results demonstrate that CMR achieves better accuracy-interpretability trade-offs to state-of-the-art CBMs, discovers logic rules consistent with ground truths, allows for rule interventions, and allows pre-deployment verification.
- Abstract（参考訳）: ディープラーニングシステムの意思決定プロセスにおける透明性の欠如は、現代の人工知能(AI)において重要な課題となっている。
この課題に対処するために、Deep Learning Architecturesに人間解釈可能な概念を組み込むことで、Concept Bottleneck Models (CBM) は大きな進歩を遂げた。
このアプローチにより、予測はユーザーが理解し、潜在的に介入できる特定の概念パターンに遡ることができる。
しかし、既存のCBMのタスク予測器は完全には解釈できないため、徹底的な分析や、配置前の意思決定プロセスの形式的検証を妨げ、重大な信頼性の懸念を生じさせる。
このギャップを埋めるために,概念ベースのメモリリゾネータ(CMR)を導入する。
本研究の目的は,各タスク予測を学習可能な論理規則のメモリ上でのニューラル選択機構としてモデル化し,次に選択されたルールのシンボリック評価を行うことである。
明示的な記憶の存在と象徴的な評価により、ドメインの専門家はタスク予測プロセスにおいて、特定のグローバルな特性の妥当性を検査し、正式に検証することができる。
実験により、CMRは最先端のCBMとの精度・解釈可能性のトレードオフを向上し、論理規則を基礎的真理と整合性を発見し、規則の介入を可能にし、事前デプロイ検証を可能にすることを示した。
関連論文リスト
- Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework [54.40508478482667]
認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。
本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。
この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
論文 参考訳（メタデータ） (2024-11-03T17:32:00Z) - EQ-CBM: A Probabilistic Concept Bottleneck with Energy-based Models and Quantized Vectors [4.481898130085069]
概念ボトルネックモデル(CBM)は、人間の理解可能な概念を活用して解釈可能性を高める効果的なアプローチとして注目されている。
既存のCBMは、決定論的概念の符号化と一貫性のない概念への依存によって問題に直面し、不正確な結果となった。
本稿では,確率論的概念エンコーディングによりCBMを強化する新しいフレームワークであるEQ-CBMを提案する。
論文 参考訳（メタデータ） (2024-09-22T23:43:45Z) - Self-supervised Interpretable Concept-based Models for Text Classification [9.340843984411137]
本稿では,自己教師型解釈可能な概念埋め込みモデル(ICEM)を提案する。
我々は,大規模言語モデルの一般化能力を活用し,概念ラベルを自己管理的に予測する。
ICEMは、完全に教師されたコンセプトベースモデルやエンドツーエンドのブラックボックスモデルと同じようなパフォーマンスを達成するために、自己管理的な方法でトレーニングすることができる。
論文 参考訳（メタデータ） (2024-06-20T14:04:53Z) - Generating Feasible and Plausible Counterfactual Explanations for Outcome Prediction of Business Processes [45.502284864662585]
データ駆動型アプローチであるREVISEDplusを導入し、妥当な対実的説明を生成する。
まず, プロセスデータの高密度領域内に存在する反ファクトデータを生成するために, 反ファクトアルゴリズムを限定する。
また、プロセスケースにおけるアクティビティ間のシーケンシャルなパターンを学習することで、妥当性を保証します。
論文 参考訳（メタデータ） (2024-03-14T09:56:35Z) - Tuning-Free Accountable Intervention for LLM Deployment -- A
Metacognitive Approach [55.613461060997004]
大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。
我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
論文 参考訳（メタデータ） (2024-03-08T19:18:53Z) - Explaining by Imitating: Understanding Decisions by Interpretable Policy
Learning [72.80902932543474]
観察されたデータから人間の行動を理解することは、意思決定における透明性と説明責任にとって重要である。
意思決定者の方針をモデル化することが困難である医療などの現実的な設定を考えてみましょう。
本稿では, 設計による透明性の向上, 部分観測可能性の確保, 完全にオフラインで動作可能なデータ駆動型意思決定行動の表現を提案する。
論文 参考訳（メタデータ） (2023-10-28T13:06:14Z) - Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。
本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
論文 参考訳（メタデータ） (2023-04-27T09:58:15Z) - Communicating Uncertainty in Machine Learning Explanations: A
Visualization Analytics Approach for Predictive Process Monitoring [0.0]
本研究では,グローバルおよびローカルなポストホックな説明手法でモデル不確実性を効果的に伝達する方法を検討する。
これら2つの研究の方向性を組み合わせることで、意思決定者は説明駆動型実行可能な洞察の妥当性を正当化できるだけでなく、信頼性も検証できる。
論文 参考訳（メタデータ） (2023-04-12T09:44:32Z) - Interpretable Self-Aware Neural Networks for Robust Trajectory
Prediction [50.79827516897913]
本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。
実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-16T06:28:20Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳（メタデータ） (2020-11-15T17:26:14Z) - An Information Bottleneck Approach for Controlling Conciseness in
Rationale Extraction [84.49035467829819]
我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。
我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
論文 参考訳（メタデータ） (2020-05-01T23:26:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。