論文の概要: Thermodynamics of Interpretation
- arxiv url: http://arxiv.org/abs/2206.13475v1
- Date: Mon, 27 Jun 2022 17:36:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-28 18:01:41.040393
- Title: Thermodynamics of Interpretation
- Title(参考訳): 解釈の熱力学
- Authors: Shams Mehdi and Pratyush Tiwary
- Abstract要約: 熱力学的に説明可能なAIおよび他のブラックボックスパラダイム(TERP)の表現法を提案する。
TERPは、説明されるインスタンスの周りの小さな近傍で、ブラックボックスモデルの振る舞いを近似する、線形で局所的な代理モデルを構築することで機能する。
我々は、関連するドメインから来るデータセットに基づいてトレーニングされた4種類のブラックボックスモデルのクラスをうまく解釈し、一般に適用可能な方法としてTERPを検証する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Over the past few years, different types of data-driven Artificial
Intelligence (AI) techniques have been widely adopted in various domains of
science for generating predictive black-box models. However, because of their
black-box nature, it is crucial to establish trust in these models before
accepting them as accurate. One way of achieving this goal is through the
implementation of a post-hoc interpretation scheme that can put forward the
reasons behind a black-box model prediction. In this work, we propose a
classical thermodynamics inspired approach for this purpose: Thermodynamically
Explainable Representations of AI and other black-box Paradigms (TERP). TERP
works by constructing a linear, local surrogate model that approximates the
behaviour of the black-box model within a small neighborhood around the
instance being explained. By employing a simple forward feature selection Monte
Carlo algorithm, TERP assigns an interpretability free energy score to all the
possible surrogate models in order to choose an optimal interpretation.
Additionally, we validate TERP as a generally applicable method by successfully
interpreting four different classes of black-box models trained on datasets
coming from relevant domains, including classifying images, predicting heart
disease and classifying biomolecular conformations.
- Abstract(参考訳): 過去数年間、さまざまなタイプのデータ駆動人工知能(AI)技術が、予測ブラックボックスモデルを生成するために様々な分野の科学で広く採用されてきた。
しかしながら、ブラックボックスの性質のため、これらのモデルに正確性を受け入れる前に信頼を確立することが不可欠である。
この目標を達成する1つの方法は、ブラックボックスモデル予測の背後にある理由を推論できるポストホックな解釈スキームの実装である。
本研究では,この目的のために古典的熱力学に基づくアプローチを提案する: 熱力学的に説明可能なAIおよび他のブラックボックスパラダイム(TERP)の表現。
TERPは、説明されるインスタンス周辺の小さな近傍でブラックボックスモデルの振る舞いを近似する線形局所代理モデルを構築することで機能する。
単純なフォワード特徴選択モンテカルロアルゴリズムを用いることで、TERPは最適解釈を選択するために可能な全てのサロゲートモデルに解釈可能性自由エネルギースコアを割り当てる。
さらに,画像の分類,心臓疾患の予測,生体分子のコンフォメーションの分類など,関連する領域のデータセットから学習したブラックボックスモデルの4つの異なるクラスをうまく解釈することにより,一般的に適用可能な手法としてterpを検証する。
関連論文リスト
- Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。
我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。
我々は、理論的な主張を合成データ実験で裏付ける。
論文 参考訳(メタデータ) (2024-06-01T18:01:03Z) - Interpretable Machine Learning for Weather and Climate Prediction: A Survey [24.028385794099435]
気象予測に適用された現在の解釈可能な機械学習手法について概説する。
ツリーアンサンブルや説明可能なニューラルネットワークといったアーキテクチャを使って、スクラッチから本質的に解釈可能なモデルを設計する。
物理原理に沿ったより深い機械的解釈を達成するための研究課題について論じる。
論文 参考訳(メタデータ) (2024-03-24T14:23:35Z) - ContPhy: Continuum Physical Concept Learning and Reasoning from Videos [86.63174804149216]
ContPhyは、マシン物理常識を評価するための新しいベンチマークである。
私たちは、さまざまなAIモデルを評価し、ContPhyで満足なパフォーマンスを達成するのに依然として苦労していることがわかった。
また、近年の大規模言語モデルとパーティクルベースの物理力学モデルを組み合わせるためのオラクルモデル(ContPRO)を導入する。
論文 参考訳(メタデータ) (2024-02-09T01:09:21Z) - Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。
ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
論文 参考訳(メタデータ) (2024-01-11T18:57:17Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Concept backpropagation: An Explainable AI approach for visualising
learned concepts in neural network models [0.0]
本稿では,ある概念を表す情報が与えられたニューラルネットワークモデルにどのように内在化されているかを分析する方法として,Emphconcept backpropagationという概念検出手法の拡張を提案する。
論文 参考訳(メタデータ) (2023-07-24T08:21:13Z) - On Modifying a Neural Network's Perception [3.42658286826597]
本研究では,人間の定義した概念に対して,人工ニューラルネットワークが知覚しているものを修正する手法を提案する。
提案手法を異なるモデルで検証し、実行された操作がモデルによって適切に解釈されているかどうかを評価し、それらに対してどのように反応するかを解析する。
論文 参考訳(メタデータ) (2023-03-05T12:09:37Z) - Hessian-based toolbox for reliable and interpretable machine learning in
physics [58.720142291102135]
本稿では,モデルアーキテクチャの解釈可能性と信頼性,外挿を行うためのツールボックスを提案する。
与えられたテストポイントでの予測に対する入力データの影響、モデル予測の不確実性の推定、およびモデル予測の不可知スコアを提供する。
我々の研究は、物理学やより一般的には科学に適用されたMLにおける解釈可能性と信頼性の方法の体系的利用への道を開く。
論文 参考訳(メタデータ) (2021-08-04T16:32:59Z) - Formalising Concepts as Grounded Abstractions [68.24080871981869]
このレポートは、表現学習が生データから概念を誘導する方法を示しています。
このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
論文 参考訳(メタデータ) (2021-01-13T15:22:01Z) - Physics-Constrained Predictive Molecular Latent Space Discovery with
Graph Scattering Variational Autoencoder [0.0]
我々は小データ構造における変分推論とグラフ理論に基づく分子生成モデルを開発する。
モデルの性能は、所望の目的特性を持つ分子を生成することによって評価される。
論文 参考訳(メタデータ) (2020-09-29T09:05:27Z) - Scientific Discovery by Generating Counterfactuals using Image
Translation [5.820406793815877]
本稿では,説明手法から発見機構へ予測を変換する枠組みを提案する。
ブラックボックス予測器と組み合わせた生成モデルを用いて、批判的に検証できる仮説を生成する方法を示す。
提案手法は,モデルの性能と人間の理解のギャップを埋めるため,基礎となる科学的メカニズムを説明することができることを示す。
論文 参考訳(メタデータ) (2020-07-10T17:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。