論文の概要: Concept Learning in the Wild: Towards Algorithmic Understanding of Neural Networks

• arxiv url: http://arxiv.org/abs/2412.11205v1
• Date: Sun, 15 Dec 2024 14:37:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:56:00.652889
• Title: Concept Learning in the Wild: Towards Algorithmic Understanding of Neural Networks
• Title（参考訳）: 野生における概念学習 : ニューラルネットワークのアルゴリズム的理解を目指して
• Authors: Elad Shohama, Hadar Cohena, Khalil Wattada, Havana Rikab, Dan Vilenchik,
• Abstract要約: 本稿では,既存のグラフニューラルネットワーク(GNN)モデルにおける概念学習について検討する。 我々の分析によると、このモデルは人間設計SAT、特に「支援」の概念と一致する重要な概念を学習している。 発見された概念は、ブラックボックスのGNNを「リバースエンジニアリング」し、ホワイトボックスの教科書アルゴリズムとして書き換える。
• 参考スコア（独自算出の注目度）: 2.102973349909511
• License:
• Abstract: Explainable AI (XAI) methods typically focus on identifying essential input features or more abstract concepts for tasks like image or text classification. However, for algorithmic tasks like combinatorial optimization, these concepts may depend not only on the input but also on the current state of the network, like in the graph neural networks (GNN) case. This work studies concept learning for an existing GNN model trained to solve Boolean satisfiability (SAT). \textcolor{black}{Our analysis reveals that the model learns key concepts matching those guiding human-designed SAT heuristics, particularly the notion of 'support.' We demonstrate that these concepts are encoded in the top principal components (PCs) of the embedding's covariance matrix, allowing for unsupervised discovery. Using sparse PCA, we establish the minimality of these concepts and show their teachability through a simplified GNN. Two direct applications of our framework are (a) We improve the convergence time of the classical WalkSAT algorithm and (b) We use the discovered concepts to "reverse-engineer" the black-box GNN and rewrite it as a white-box textbook algorithm. Our results highlight the potential of concept learning in understanding and enhancing algorithmic neural networks for combinatorial optimization tasks.
• Abstract（参考訳）: 説明可能なAI(XAI)メソッドは一般的に、画像やテキストの分類のようなタスクに不可欠な入力機能やより抽象的な概念を特定することに重点を置いている。 しかしながら、組合せ最適化のようなアルゴリズム的なタスクでは、これらの概念は入力だけでなく、グラフニューラルネットワーク(GNN)の場合のように、ネットワークの現在の状態にも依存する可能性がある。 本研究は,Boolean satisfiability (SAT) を解決するために訓練された既存のGNNモデルの概念学習について研究する。 \textcolor{black}{Our analysis は、このモデルが人間の設計したSATヒューリスティックス、特に「サポート」の概念と一致する重要な概念を学習していることを明らかにする。 これらの概念は埋め込みの共分散行列の上位主成分(PC)に符号化されており、教師なしの発見を可能にする。 スパースPCAを用いて,これらの概念の最小限性を確立し,GNNの簡易化による授業性を示す。 私たちのフレームワークの2つの直接的な応用 (a)古典的なウォークサットアルゴリズムの収束時間と収束時間を改善する。 b)ブラックボックスのGNNを「リバースエンジニアリング」し、ホワイトボックスの教科書アルゴリズムとして書き換える。 本結果は,組合せ最適化タスクにおけるアルゴリズムニューラルネットワークの理解と強化における概念学習の可能性を強調した。

関連論文リスト

• NAR-*ICP: Neural Execution of Classical ICP-based Pointcloud Registration Algorithms [7.542220697870245]
  本研究ではニューラルネットワークと古典ロボットアルゴリズムの交点をニューラルネットワーク推論フレームワークを用いて検討する。 我々は従来のICPベースのポイントクラウド登録アルゴリズムの中間アルゴリズムステップを学習するグラフニューラルネットワーク(GNN)ベースの学習フレームワークであるNAR-*ICPを提案する。 我々は、実世界から合成まで多様なデータセットにまたがってアプローチを評価し、複雑でノイズの多い入力を扱う際の柔軟性を実証した。
  論文  参考訳（メタデータ） (2024-10-14T19:33:46Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Aligning Knowledge Graphs Provided by Humans and Generated from Neural Networks in Specific Tasks [5.791414814676125]
  本稿では,ニューラルネットワークによる知識グラフの生成と活用を可能にする革新的な手法を提案する。 われわれのアプローチは、従来の単語の埋め込みモデルへの依存を排除し、ニューラルネットワークから概念をマイニングし、それらを人間の知識と直接整合させる。 実験により,本手法は人間の知識と密接に一致したネットワーク生成概念を連続的に捕捉し,これまでヒトが認識していなかった新しい有用な概念を発見できることがわかった。
  論文  参考訳（メタデータ） (2024-04-23T20:33:17Z)
• Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
  ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。 この論文は、この領域の研究に理論的および実践的な貢献を提供する。
  論文  参考訳（メタデータ） (2024-02-21T12:16:51Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Graph Neural Networks are Dynamic Programmers [0.0]
  グラフニューラルネットワーク(GNN)は動的プログラミング(DP)と一致すると主張される ここでは、理論と抽象代数学の手法を用いて、GNNとDPの間に複雑な関係が存在することを示す。
  論文  参考訳（メタデータ） (2022-03-29T13:27:28Z)
• Concept Embeddings for Fuzzy Logic Verification of Deep Neural Networks in Perception Tasks [1.2246649738388387]
  我々は、訓練された畳み込みニューラルネットワーク(CNN)が特定の記号的背景知識を尊重するかどうかを検証するための、単純で効果的なアプローチを提案する。 知識はファジィ述語論理則から成り立つ。 このアプローチはファジィ性と概念出力の校正の恩恵を受けていることを示す。
  論文  参考訳（メタデータ） (2022-01-03T10:35:47Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。