論文の概要: Towards Efficient Neuro-Symbolic AI: From Workload Characterization to Hardware Architecture

• arxiv url: http://arxiv.org/abs/2409.13153v2
• Date: Mon, 23 Sep 2024 01:30:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 11:41:13.337700
• Title: Towards Efficient Neuro-Symbolic AI: From Workload Characterization to Hardware Architecture
• Title（参考訳）: 効率的なニューロシンボリックAIを目指して:ワークロードのキャラクタリゼーションからハードウェアアーキテクチャへ
• Authors: Zishen Wan, Che-Kai Liu, Hanchen Yang, Ritik Raj, Chaojian Li, Haoran You, Yonggan Fu, Cheng Wan, Sixu Li, Youbin Kim, Ananda Samajdar, Yingyan Celine Lin, Mohamed Ibrahim, Jan M. Rabaey, Tushar Krishna, Arijit Raychowdhury,
• Abstract要約: ニューロシンボリックAIは、解釈可能性、堅牢性、信頼性を高めるニューラルネットワークとシンボリックアプローチを融合して、有望なパラダイムとして出現する。 最近のニューロシンボリックシステムは、推論と認知能力を備えた協調的な人間-AIシナリオにおいて大きな可能性を示している。 まず, ニューロシンボリックAIアルゴリズムを体系的に分類し, 実行時, メモリ, 計算演算子, 疎結合性, システム特性を実験的に評価し, 解析する。
• 参考スコア（独自算出の注目度）: 22.274696991107206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable advancements in artificial intelligence (AI), primarily driven by deep neural networks, are facing challenges surrounding unsustainable computational trajectories, limited robustness, and a lack of explainability. To develop next-generation cognitive AI systems, neuro-symbolic AI emerges as a promising paradigm, fusing neural and symbolic approaches to enhance interpretability, robustness, and trustworthiness, while facilitating learning from much less data. Recent neuro-symbolic systems have demonstrated great potential in collaborative human-AI scenarios with reasoning and cognitive capabilities. In this paper, we aim to understand the workload characteristics and potential architectures for neuro-symbolic AI. We first systematically categorize neuro-symbolic AI algorithms, and then experimentally evaluate and analyze them in terms of runtime, memory, computational operators, sparsity, and system characteristics on CPUs, GPUs, and edge SoCs. Our studies reveal that neuro-symbolic models suffer from inefficiencies on off-the-shelf hardware, due to the memory-bound nature of vector-symbolic and logical operations, complex flow control, data dependencies, sparsity variations, and limited scalability. Based on profiling insights, we suggest cross-layer optimization solutions and present a hardware acceleration case study for vector-symbolic architecture to improve the performance, efficiency, and scalability of neuro-symbolic computing. Finally, we discuss the challenges and potential future directions of neuro-symbolic AI from both system and architectural perspectives.
• Abstract（参考訳）: 人工知能(AI)の目覚ましい進歩は、主にディープニューラルネットワークによって推進され、持続不可能な計算軌道、限られた堅牢性、説明可能性の欠如といった問題に直面している。 次世代の認知AIシステムを開発するために、ニューラルシンボリックAIは有望なパラダイムとして登場し、解釈可能性、堅牢性、信頼性を高めるためにニューラルおよびシンボリックアプローチを融合し、はるかに少ないデータからの学習を容易にする。 最近のニューロシンボリックシステムは、推論と認知能力を備えた協調的な人間-AIシナリオにおいて大きな可能性を示している。 本稿では,ニューロシンボリックAIのワークロード特性と潜在的なアーキテクチャを理解することを目的とする。 まず、神経シンボル型AIアルゴリズムを体系的に分類し、次に実行時、メモリ、演算子、空間性、CPU、GPU、エッジSoCのシステム特性を実験的に評価し分析する。 本研究は, ベクトル記号および論理演算のメモリバウンド特性, 複雑なフロー制御, データ依存性, 空間変動, 拡張性に起因して, 市販ハードウェア上でのニューロシンボリックモデルが非効率に悩まされていることを明らかにする。 プロファイリングの知見に基づいて、我々はクロスレイヤー最適化ソリューションを提案し、ニューロシンボリックコンピューティングの性能、効率、スケーラビリティを向上させるために、ベクトルシンボルアーキテクチャのハードウェアアクセラレーションケーススタディを提案する。 最後に、システムとアーキテクチャの両方の観点から、ニューロシンボリックAIの課題と今後の方向性について論じる。

関連論文リスト

• Unlocking the Potential of Generative AI through Neuro-Symbolic Architectures: Benefits and Limitations [0.7499722271664147]
  ニューロシンボリック人工知能(NSAI)は人工知能(AI)における変革的アプローチである NSAIは、大規模および非構造化データを扱うディープラーニングの能力と、シンボリックメソッドの構造的推論を組み合わせる。 本稿では、NSAIアーキテクチャを体系的に研究し、ニューラルネットワークとシンボリックコンポーネントの統合に対する独自のアプローチを強調した。
  論文  参考訳（メタデータ） (2025-02-16T21:06:33Z)
• Formal Explanations for Neuro-Symbolic AI [28.358183683756028]
  本稿では,ニューロシンボリックシステムの決定を説明するための公式なアプローチを提案する。 これはまず、説明が必要な神経情報の個々の部分のサブセットを特定するのに役立つ。 これに続いて、階層的な形式的な説明の簡潔さを促進するために、互いに独立して、これらの個々の神経入力のみを説明する。
  論文  参考訳（メタデータ） (2024-10-18T07:08:31Z)
• Converging Paradigms: The Synergy of Symbolic and Connectionist AI in LLM-Empowered Autonomous Agents [55.63497537202751]
  コネクショニストと象徴的人工知能(AI)の収束を探求する記事 従来、コネクショナリストAIはニューラルネットワークにフォーカスし、シンボリックAIはシンボリック表現とロジックを強調していた。 大型言語モデル(LLM)の最近の進歩は、人間の言語をシンボルとして扱う際のコネクショナリストアーキテクチャの可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-11T14:00:53Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
  Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。 ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。 新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-02T20:33:14Z)
• Towards Cognitive AI Systems: a Survey and Prospective on Neuro-Symbolic AI [33.0761784111292]
  ニューロシンボリックAIは、解釈可能性、堅牢性、信頼性を高めるための有望なパラダイムとして登場します。 近年のNSAIシステムは、推論と認知能力を備えた協調的な人間-AIシナリオにおいて大きな可能性を実証している。
  論文  参考訳（メタデータ） (2024-01-02T05:00:54Z)
• A Survey on Brain-Inspired Deep Learning via Predictive Coding [85.93245078403875]
  予測符号化(PC)は、マシンインテリジェンスタスクにおいて有望なパフォーマンスを示している。 PCは様々な脳領域で情報処理をモデル化することができ、認知制御やロボティクスで使用することができる。
  論文  参考訳（メタデータ） (2023-08-15T16:37:16Z)
• Towards Data-and Knowledge-Driven Artificial Intelligence: A Survey on Neuro-Symbolic Computing [73.0977635031713]
  ニューラルシンボリック・コンピューティング(NeSy)は、人工知能(AI)の活発な研究領域である。 NeSyは、ニューラルネットワークにおける記号表現の推論と解釈可能性の利点と堅牢な学習の整合性を示す。
  論文  参考訳（メタデータ） (2022-10-28T04:38:10Z)
• Neuro-Symbolic Learning of Answer Set Programs from Raw Data [54.56905063752427]
  Neuro-Symbolic AIは、シンボリックテクニックの解釈可能性と、生データから学ぶ深層学習の能力を組み合わせることを目的としている。 本稿では,ニューラルネットワークを用いて生データから潜在概念を抽出するNSIL(Neuro-Symbolic Inductive Learner)を提案する。 NSILは表現力のある知識を学習し、計算的に複雑な問題を解き、精度とデータ効率の観点から最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-25T12:41:59Z)
• A brain basis of dynamical intelligence for AI and computational neuroscience [0.0]
  より多くの脳のような能力は、新しい理論、モデル、および人工学習システムを設計する方法を要求するかもしれない。 本稿は,第6回US/NIH BRAIN Initiative Investigators Meetingにおける動的神経科学と機械学習に関するシンポジウムに触発されたものです。
  論文  参考訳（メタデータ） (2021-05-15T19:49:32Z)
• Neurosymbolic AI: The 3rd Wave [1.14219428942199]
  AIの信頼、安全性、解釈可能性、説明責任に関する懸念は、影響力のある思想家によって提起された。 多くは、知識表現と推論を深層学習に統合する必要性を認識している。 ニューラル・シンボリック・コンピューティングは、推論と説明可能性を備えた堅牢な学習をニューラルネットワークで組み合わせようとする研究の活発な領域である。
  論文  参考訳（メタデータ） (2020-12-10T18:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。