論文の概要: Compositional Generalization Across Distributional Shifts with Sparse Tree Operations

• arxiv url: http://arxiv.org/abs/2412.14076v1
• Date: Wed, 18 Dec 2024 17:20:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:49:18.897118
• Title: Compositional Generalization Across Distributional Shifts with Sparse Tree Operations
• Title（参考訳）: スパースツリー操作による分布シフト間の組成一般化
• Authors: Paul Soulos, Henry Conklin, Mattia Opper, Paul Smolensky, Jianfeng Gao, Roland Fernandez,
• Abstract要約: 我々は、微分可能木機械と呼ばれる統合されたニューロシンボリックアーキテクチャを導入する。 シンボル構造の疎ベクトル表現を用いることで,モデルの効率を大幅に向上する。 より一般的なseq2seq問題に制限されたtree2tree問題以外の適用を可能にする。
• 参考スコア（独自算出の注目度）: 77.5742801509364
• License:
• Abstract: Neural networks continue to struggle with compositional generalization, and this issue is exacerbated by a lack of massive pre-training. One successful approach for developing neural systems which exhibit human-like compositional generalization is \textit{hybrid} neurosymbolic techniques. However, these techniques run into the core issues that plague symbolic approaches to AI: scalability and flexibility. The reason for this failure is that at their core, hybrid neurosymbolic models perform symbolic computation and relegate the scalable and flexible neural computation to parameterizing a symbolic system. We investigate a \textit{unified} neurosymbolic system where transformations in the network can be interpreted simultaneously as both symbolic and neural computation. We extend a unified neurosymbolic architecture called the Differentiable Tree Machine in two central ways. First, we significantly increase the model's efficiency through the use of sparse vector representations of symbolic structures. Second, we enable its application beyond the restricted set of tree2tree problems to the more general class of seq2seq problems. The improved model retains its prior generalization capabilities and, since there is a fully neural path through the network, avoids the pitfalls of other neurosymbolic techniques that elevate symbolic computation over neural computation.
• Abstract（参考訳）: ニューラルネットワークは作曲の一般化に苦慮し続けており、この問題は大規模な事前学習の欠如によってさらに悪化している。 人間のような構成の一般化を示す神経系の開発に成功しているアプローチは、 \textit{hybrid} ニューロシンボリック技術である。 しかしながら、これらのテクニックは、スケーラビリティと柔軟性という、AIの象徴的なアプローチを悩ませる中核的な問題に陥る。 この失敗の理由は、その中心となるハイブリッドニューロシンボリックモデルがシンボリック計算を実行し、スケーラブルで柔軟なニューラル計算をパラメタライズするために緩和するからである。 本稿では,ネットワーク内の変換をシンボル計算とニューラル計算の両方として同時に解釈できる,‘textit{unified} ニューロシンボリックシステムについて検討する。 我々は2つの中心的な方法で、微分可能木機械と呼ばれる統一されたニューロシンボリックアーキテクチャを拡張した。 まず,シンボル構造の疎ベクトル表現を用いることで,モデルの効率を大幅に向上する。 第2に、木2ツリー問題の制限された集合を超えて、Seq2seq問題のより一般的なクラスに応用できる。 改良されたモデルは、その事前の一般化能力を保ち、ネットワークを通る完全な神経経路があるため、ニューラルネットワークよりも記号計算を高める他の神経象徴的手法の落とし穴を避ける。

関連論文リスト

• Shadow of the (Hierarchical) Tree: Reconciling Symbolic and Predictive Components of the Neural Code for Syntax [1.223779595809275]
  線形で予測的な「水平」プロセスで階層的な「垂直」構文のニューラルネットワークを再構築する可能性について論じる。 語彙・意味的統計特徴をコードするニューラルレジームに記号表現を注入する方法に関するニューロシンボリックな数学的モデルを提供する。
  論文  参考訳（メタデータ） (2024-12-02T08:44:16Z)
• Mapping the Neuro-Symbolic AI Landscape by Architectures: A Handbook on Augmenting Deep Learning Through Symbolic Reasoning [11.418327158608664]
  統計的強度を持つ記号技法は、人工知能の長年の問題である。 ニューロシンボリックAIは、この統合に焦点を当てている。 シンボリックテクニックの最初のマッピングを,そのアーキテクチャに基づいたフレームワークのファミリーに提示する。
  論文  参考訳（メタデータ） (2024-10-29T14:35:59Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
  シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。 ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。 我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
  論文  参考訳（メタデータ） (2023-10-08T12:33:42Z)
• Extensions to Generalized Annotated Logic and an Equivalent Neural Architecture [4.855957436171202]
  本稿では,ニューロシンボリックシステムに対する望ましい基準のリストを提案し,既存のアプローチのいくつかがこれらの基準にどう対処するかを検討する。 次に、等価なニューラルアーキテクチャの作成を可能にするアノテーション付き一般化論理の拡張を提案する。 トレーニングプロセスの継続的な最適化に依存する従来のアプローチとは異なり、当社のフレームワークは、離散最適化を使用する二項化ニューラルネットワークとして設計されている。
  論文  参考訳（メタデータ） (2023-02-23T17:39:46Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• A Neuro-vector-symbolic Architecture for Solving Raven's Progressive Matrices [15.686742809374024]
  ニューロベクター・シンボリック・アーキテクチャ(NVSA)は、ディープニューラルネットワークとシンボリック論理的推論の最高の組み合わせとして提案されている。 我々は,NVSAがRAVENの平均精度97.7%,I-RAVENデータセット98.8%を新たに達成し,CPU上での論理的推論よりも2桁高速な実行を実現していることを示す。
  論文  参考訳（メタデータ） (2022-03-09T08:29:21Z)
• Geometry Perspective Of Estimating Learning Capability Of Neural Networks [0.0]
  本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。 一般化能力とニューラルネットワークの安定性との関係についても論じている。 ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
  論文  参考訳（メタデータ） (2020-11-03T12:03:19Z)
• Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning [134.77207192945053]
  従来の手法は強化学習アプローチを用いてニューラルシンボリックモデルを学ぶ。 我々は,脳神経知覚と記号的推論を橋渡しする前に,textbfgrammarモデルをテキストシンボリックとして導入する。 本稿では,トップダウンのヒューマンライクな学習手順を模倣して誤りを伝播する新しいtextbfback-searchアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。