論文の概要: Where We Have Arrived in Proving the Emergence of Sparse Symbolic
Concepts in AI Models
- arxiv url: http://arxiv.org/abs/2305.01939v1
- Date: Wed, 3 May 2023 07:32:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-04 15:41:47.689266
- Title: Where We Have Arrived in Proving the Emergence of Sparse Symbolic
Concepts in AI Models
- Title(参考訳): aiモデルにおける疎結合な象徴的概念の出現を証明し
- Authors: Qihan Ren, Jiayang Gao, Wen Shen, Quanshi Zhang
- Abstract要約: 本稿では、よく訓練されたAIモデルにおける象徴的概念の出現を証明することを目的とする。
モデルの推論スコアは常に、すべての対話的概念の相互作用効果の和として表せることが証明された。
- 参考スコア(独自算出の注目度): 25.27703225820426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper aims to prove the emergence of symbolic concepts in well-trained
AI models. We prove that if (1) the high-order derivatives of the model output
w.r.t. the input variables are all zero, (2) the AI model can be used on
occluded samples and will yield higher confidence when the input sample is less
occluded, and (3) the confidence of the AI model does not significantly degrade
on occluded samples, then the AI model will encode sparse interactive concepts.
Each interactive concept represents an interaction between a specific set of
input variables, and has a certain numerical effect on the inference score of
the model. Specifically, it is proved that the inference score of the model can
always be represented as the sum of the interaction effects of all interactive
concepts. In fact, we hope to prove that conditions for the emergence of
symbolic concepts are quite common. It means that for most AI models, we can
usually use a small number of interactive concepts to mimic the model outputs
on any arbitrarily masked samples.
- Abstract(参考訳): 本稿では、よく訓練されたAIモデルにおける象徴的概念の出現を証明することを目的とする。
その結果,(1)入力変数がすべてゼロであるようなモデルの高次導関数が,(2)オクルードされたサンプルにaiモデルを適用でき,入力サンプルがオクルードされていない場合に高い信頼性が得られること,(3)オクルードされたサンプルでは,aiモデルの信頼度が著しく低下しないこと,そして、aiモデルはスパースインタラクティブな概念を符号化できることが証明された。
各インタラクティブな概念は、入力変数の特定のセット間の相互作用を表し、モデルの推論スコアに一定の数値効果を持つ。
特に、モデルの推論スコアは、常に全ての対話的概念の相互作用効果の和として表現できることが証明される。
実際、象徴的概念の出現の条件が極めて一般的であることを証明したい。
つまり、ほとんどのaiモデルでは、任意のマスクされたサンプルのモデルの出力を模倣するために、少数のインタラクティブなコンセプトを使うことができる。
関連論文リスト
- OMNIINPUT: A Model-centric Evaluation Framework through Output
Distribution [31.00645110294068]
我々は,AI/MLモデルの予測品質を,可能なすべての入力に対して評価するモデル中心評価フレームワークOmniInputを提案する。
提案手法では, 学習モデルの入力と出力分布を求めるために, 効率的なサンプリング器を用いる。
実験により,OmniInputはモデル間のよりきめ細かい比較を可能にした。
論文 参考訳(メタデータ) (2023-12-06T04:53:12Z) - Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。
この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。
我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
論文 参考訳(メタデータ) (2023-10-23T04:35:58Z) - AI Model Utilization Measurements For Finding Class Encoding Patterns [2.702380921892937]
この研究は、訓練された人工知能(AI)モデルの活用度測定を設計する際の問題に対処する。
この問題は、セキュリティおよび安全クリティカルなアプリケーションにおけるAIモデルの説明可能性の欠如によって動機付けられている。
論文 参考訳(メタデータ) (2022-12-12T02:18:10Z) - Combining Human Predictions with Model Probabilities via Confusion
Matrices and Calibration [11.75395256889808]
本研究では,モデルの確率的出力と人間のクラスレベルの出力を結合するアルゴリズムの開発を行う。
理論的には, 組み合わせモデルの精度は, 個々の人やモデルの精度だけでなく, モデルの信頼性にも左右されることが示されている。
論文 参考訳(メタデータ) (2021-09-29T17:43:15Z) - Combining Discrete Choice Models and Neural Networks through Embeddings:
Formulation, Interpretability and Performance [10.57079240576682]
本研究では、ニューラルネットワーク(ANN)を用いた理論とデータ駆動選択モデルを組み合わせた新しいアプローチを提案する。
特に、分類的または離散的説明変数を符号化するために、埋め込みと呼ばれる連続ベクトル表現を用いる。
我々のモデルは最先端の予測性能を提供し、既存のANNモデルよりも優れ、必要なネットワークパラメータの数を劇的に削減します。
論文 参考訳(メタデータ) (2021-09-24T15:55:31Z) - Is Automated Topic Model Evaluation Broken?: The Incoherence of
Coherence [62.826466543958624]
トピックモデル評価における標準化のギャップと検証のギャップについて考察する。
これらの指標によると、最近のニューラルネットワークコンポーネントに依存したモデルは、古典的なトピックモデルを超えている。
我々は,話題評価と単語侵入という,最も広く受け入れられている2つの人間の判断タスクとともに,自動的コヒーレンスを用いる。
論文 参考訳(メタデータ) (2021-07-05T17:58:52Z) - PSD Representations for Effective Probability Models [117.35298398434628]
最近提案された非負関数に対する正半定値(PSD)モデルがこの目的に特に適していることを示す。
我々はPSDモデルの近似と一般化能力の両方を特徴付け、それらが強い理論的保証を享受していることを示す。
本研究では,PSDモデルの密度推定,決定理論,推論への応用への道を開く。
論文 参考訳(メタデータ) (2021-06-30T15:13:39Z) - Explaining and Improving Model Behavior with k Nearest Neighbor
Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。
我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。
以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文 参考訳(メタデータ) (2020-10-18T16:55:25Z) - Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。
モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。
要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文 参考訳(メタデータ) (2020-10-15T16:57:27Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳(メタデータ) (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。