論文の概要: Where We Have Arrived in Proving the Emergence of Sparse Symbolic
Concepts in AI Models
- arxiv url: http://arxiv.org/abs/2305.01939v1
- Date: Wed, 3 May 2023 07:32:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-04 15:41:47.689266
- Title: Where We Have Arrived in Proving the Emergence of Sparse Symbolic
Concepts in AI Models
- Title（参考訳）: aiモデルにおける疎結合な象徴的概念の出現を証明し
- Authors: Qihan Ren, Jiayang Gao, Wen Shen, Quanshi Zhang
- Abstract要約: 本稿では、よく訓練されたAIモデルにおける象徴的概念の出現を証明することを目的とする。
モデルの推論スコアは常に、すべての対話的概念の相互作用効果の和として表せることが証明された。
- 参考スコア（独自算出の注目度）: 25.27703225820426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper aims to prove the emergence of symbolic concepts in well-trained
AI models. We prove that if (1) the high-order derivatives of the model output
w.r.t. the input variables are all zero, (2) the AI model can be used on
occluded samples and will yield higher confidence when the input sample is less
occluded, and (3) the confidence of the AI model does not significantly degrade
on occluded samples, then the AI model will encode sparse interactive concepts.
Each interactive concept represents an interaction between a specific set of
input variables, and has a certain numerical effect on the inference score of
the model. Specifically, it is proved that the inference score of the model can
always be represented as the sum of the interaction effects of all interactive
concepts. In fact, we hope to prove that conditions for the emergence of
symbolic concepts are quite common. It means that for most AI models, we can
usually use a small number of interactive concepts to mimic the model outputs
on any arbitrarily masked samples.
- Abstract（参考訳）: 本稿では、よく訓練されたAIモデルにおける象徴的概念の出現を証明することを目的とする。
その結果,(1)入力変数がすべてゼロであるようなモデルの高次導関数が,(2)オクルードされたサンプルにaiモデルを適用でき,入力サンプルがオクルードされていない場合に高い信頼性が得られること,(3)オクルードされたサンプルでは,aiモデルの信頼度が著しく低下しないこと,そして、aiモデルはスパースインタラクティブな概念を符号化できることが証明された。
各インタラクティブな概念は、入力変数の特定のセット間の相互作用を表し、モデルの推論スコアに一定の数値効果を持つ。
特に、モデルの推論スコアは、常に全ての対話的概念の相互作用効果の和として表現できることが証明される。
実際、象徴的概念の出現の条件が極めて一般的であることを証明したい。
つまり、ほとんどのaiモデルでは、任意のマスクされたサンプルのモデルの出力を模倣するために、少数のインタラクティブなコンセプトを使うことができる。
関連論文リスト
- Defining and Extracting generalizable interaction primitives from DNNs [22.79131582164054]
我々は、異なるディープニューラルネットワーク(DNN)で共有される相互作用を抽出する新しい方法を開発した。
実験により、抽出された相互作用は、異なるDNNが共有する共通知識をよりよく反映できることが示された。
論文 参考訳（メタデータ） (2024-01-29T17:21:41Z) - Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。
完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。
予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文 参考訳（メタデータ） (2024-01-19T23:48:04Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Verification-Aided Deep Ensemble Selection [4.290931412096984]
ディープニューラルネットワーク(DNN)は、様々な複雑なタスクを実現するための選択技術となっている。
正しく分類された入力に対する知覚できない摂動でさえ、DNNによる誤分類につながる可能性がある。
本稿では,同時エラーの少ないアンサンブル構成を同定するための方法論を考案する。
論文 参考訳（メタデータ） (2022-02-08T14:36:29Z) - A Uniform Framework for Anomaly Detection in Deep Neural Networks [0.5099811144731619]
異常入力のクラスを3つ検討する。
1)DNNとは異なる分布からの自然な入力は、OOD(Out-of-Distribution)サンプルとして訓練される。
2) 攻撃者によるIDから生成された入力は、しばしば敵(AD)サンプルとして知られ、(3)無意味なデータから生成されたノイズ(NS)サンプルである。
事前学習したDNNに対して,これらすべての異常を検出することを目的としたフレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-06T22:42:30Z) - A Survey on Assessing the Generalization Envelope of Deep Neural
Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くのアプリケーションで最先端のパフォーマンスを達成する。
入力を受けたDNNが、通常、その決定基準が不透明であるため、正しい出力を提供するかどうかを事前に判断することは困難である。
本調査は,機械学習手法,特にDNNの一般化性能について,大規模フレームワーク内の3つの分野を関連づけるものである。
論文 参考訳（メタデータ） (2020-08-21T09:12:52Z) - Network Moments: Extensions and Sparse-Smooth Attacks [59.24080620535988]
ガウス入力を受ける小片方向線形(PL)ネットワーク(Affine,ReLU,Affine)の第1モーメントと第2モーメントの正確な解析式を導出する。
本研究では,新しい分散式を効率的に近似し,より厳密な分散推定を行うことを示す。
論文 参考訳（メタデータ） (2020-06-21T11:36:41Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-04-20T10:09:27Z) - Interval Neural Networks: Uncertainty Scores [11.74565957328407]
我々は、事前訓練された深層ニューラルネットワーク(DNN)の出力における不確実性スコアを生成する高速で非ベイズ的手法を提案する。
このインターバルニューラルネットワーク(INN)は、インターバル値パラメータを持ち、インターバル演算を用いてその入力を伝搬する。
画像再構成タスクの数値実験において,予測誤差の代用としてINNの実用性を実証する。
論文 参考訳（メタデータ） (2020-03-25T18:03:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。