論文の概要: Neuro-Symbolic Continual Learning: Knowledge, Reasoning Shortcuts and Concept Rehearsal

• arxiv url: http://arxiv.org/abs/2302.01242v2
• Date: Tue, 19 Dec 2023 08:52:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 03:03:53.132957
• Title: Neuro-Symbolic Continual Learning: Knowledge, Reasoning Shortcuts and Concept Rehearsal
• Title（参考訳）: ニューロシンボリック連続学習:知識、推論ショートカット、概念リハーサル
• Authors: Emanuele Marconato, Gianpaolo Bontempo, Elisa Ficarra, Simone Calderara, Andrea Passerini, Stefano Teso
• Abstract要約: 本稿では,ニューロシンボリック連続学習(Neuro-Symbolic Continual Learning)を紹介する。 私たちのキーとなる観察は、ニューロシンボリックなタスクは異なるものの、意味論が時間とともに安定している概念を共有していることです。 ニューロシンボリックアーキテクチャと継続的な戦略を組み合わせることで、先行知識を活用することで、破滅的な忘れを回避できることが示される。
• 参考スコア（独自算出の注目度）: 26.999987105646966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Neuro-Symbolic Continual Learning, where a model has to solve a sequence of neuro-symbolic tasks, that is, it has to map sub-symbolic inputs to high-level concepts and compute predictions by reasoning consistently with prior knowledge. Our key observation is that neuro-symbolic tasks, although different, often share concepts whose semantics remains stable over time. Traditional approaches fall short: existing continual strategies ignore knowledge altogether, while stock neuro-symbolic architectures suffer from catastrophic forgetting. We show that leveraging prior knowledge by combining neuro-symbolic architectures with continual strategies does help avoid catastrophic forgetting, but also that doing so can yield models affected by reasoning shortcuts. These undermine the semantics of the acquired concepts, even when detailed prior knowledge is provided upfront and inference is exact, and in turn continual performance. To overcome these issues, we introduce COOL, a COncept-level cOntinual Learning strategy tailored for neuro-symbolic continual problems that acquires high-quality concepts and remembers them over time. Our experiments on three novel benchmarks highlights how COOL attains sustained high performance on neuro-symbolic continual learning tasks in which other strategies fail.
• Abstract（参考訳）: そこで我々は,モデルが一連のニューロシンボリックなタスク,すなわち,サブシンボリックな入力を高レベルな概念にマッピングし,先行知識に一貫した推論を行うことで予測を計算しなければならない,ニューロシンボリック連続学習を導入する。 私たちの重要な観察は、ニューロシンボリックなタスクは、異なるものの、時間とともにセマンティクスが安定し続ける概念を共有することが多いことです。 既存の継続的な戦略は知識を完全に無視し、ストックニューロシンボリックアーキテクチャは破滅的な忘れ込みに悩まされる。 神経シンボリックアーキテクチャと継続的な戦略の組み合わせによる事前知識の活用は、破滅的な忘れることを避けるのに役立つだけでなく、推論の近道によって影響を受けるモデルをもたらすことも示している。 これらのことは、詳細な事前知識が前もって提供され、推論が正確で、連続的なパフォーマンスであっても、獲得した概念の意味を損なう。 これらの問題を克服するために,我々は,高品質な概念を習得し,時間とともに記憶する神経象徴的連続問題に適した,認知レベルcOntinual Learning戦略であるCOOLを紹介した。 3つの新しいベンチマーク実験では、他の戦略が失敗するニューロシンボリックな連続学習タスクにおいて、COOLが高いパフォーマンスを維持する方法が示されている。

関連論文リスト

• Towards Efficient Neuro-Symbolic AI: From Workload Characterization to Hardware Architecture [22.274696991107206]
  ニューロシンボリックAIは、解釈可能性、堅牢性、信頼性を高めるニューラルネットワークとシンボリックアプローチを融合して、有望なパラダイムとして出現する。 最近のニューロシンボリックシステムは、推論と認知能力を備えた協調的な人間-AIシナリオにおいて大きな可能性を示している。 まず, ニューロシンボリックAIアルゴリズムを体系的に分類し, 実行時, メモリ, 計算演算子, 疎結合性, システム特性を実験的に評価し, 解析する。
  論文  参考訳（メタデータ） (2024-09-20T01:32:14Z)
• Complexity of Probabilistic Reasoning for Neurosymbolic Classification Techniques [6.775534755081169]
  本稿では,情報監督型分類と手法の形式化について紹介する。 次に、確率論的推論に基づく3つの抽象的神経象徴的手法を定義するために、このフォーマリズムの上に構築する。
  論文  参考訳（メタデータ） (2024-04-12T11:31:37Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• From Neural Activations to Concepts: A Survey on Explaining Concepts in Neural Networks [15.837316393474403]
  概念は学習と推論の自然な結びつきとして機能する。 知識はニューラルネットワークから抽出できるだけでなく、概念知識をニューラルネットワークアーキテクチャに挿入することもできる。
  論文  参考訳（メタデータ） (2023-10-18T11:08:02Z)
• NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical Development Patterns of Preterm Infants [73.85768093666582]
  我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。 NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
  論文  参考訳（メタデータ） (2023-01-01T12:48:12Z)
• Towards Data-and Knowledge-Driven Artificial Intelligence: A Survey on Neuro-Symbolic Computing [73.0977635031713]
  ニューラルシンボリック・コンピューティング(NeSy)は、人工知能(AI)の活発な研究領域である。 NeSyは、ニューラルネットワークにおける記号表現の推論と解釈可能性の利点と堅牢な学習の整合性を示す。
  論文  参考訳（メタデータ） (2022-10-28T04:38:10Z)
• Neuro-Symbolic Learning: Principles and Applications in Ophthalmology [20.693460748187906]
  ニューロシンボリックラーニング(NeSyL)の概念は、記号表現の側面を取り入れ、ニューラルネット(NeSyL)に共通の感覚をもたらす。 NeSyLは、ビデオや画像キャプション、質問回答と推論、健康情報学、ゲノム学など、解釈可能性、推論可能性、説明可能性が重要である領域において、有望な結果を示している。 このレビューでは、最先端のNeSyLアプローチ、その原則、機械学習およびディープラーニングアルゴリズムの進歩、オプタルモロジーのような応用、そして最も重要なのは、この新興分野の今後の展望について包括的に調査する。
  論文  参考訳（メタデータ） (2022-07-31T06:48:19Z)
• Neuro-Symbolic Learning of Answer Set Programs from Raw Data [54.56905063752427]
  Neuro-Symbolic AIは、シンボリックテクニックの解釈可能性と、生データから学ぶ深層学習の能力を組み合わせることを目的としている。 本稿では,ニューラルネットワークを用いて生データから潜在概念を抽出するNSIL(Neuro-Symbolic Inductive Learner)を提案する。 NSILは表現力のある知識を学習し、計算的に複雑な問題を解き、精度とデータ効率の観点から最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-25T12:41:59Z)
• CogNGen: Constructing the Kernel of a Hyperdimensional Predictive Processing Cognitive Architecture [79.07468367923619]
  神経生物学的に妥当な2つの計算モデルを組み合わせた新しい認知アーキテクチャを提案する。 我々は、現代の機械学習技術の力を持つ認知アーキテクチャを開発することを目指している。
  論文  参考訳（メタデータ） (2022-03-31T04:44:28Z)
• Neuro-symbolic Architectures for Context Understanding [59.899606495602406]
  本稿では,データ駆動型アプローチと知識駆動型アプローチの強みを組み合わせたフレームワークとして,ハイブリッドAI手法を提案する。 具体的には、知識ベースを用いて深層ニューラルネットワークの学習過程を導く方法として、ニューロシンボリズムの概念を継承する。
  論文  参考訳（メタデータ） (2020-03-09T15:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。