論文の概要: SymDQN: Symbolic Knowledge and Reasoning in Neural Network-based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2504.02654v1
• Date: Thu, 03 Apr 2025 14:51:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:58:17.322095
• Title: SymDQN: Symbolic Knowledge and Reasoning in Neural Network-based Reinforcement Learning
• Title（参考訳）: SymDQN:ニューラルネットワークによる強化学習における記号的知識と推論
• Authors: Ivo Amador, Nina Gierasimczuk,
• Abstract要約: 我々は既存のDuelDQNアーキテクチャを拡張した新しいモジュラーアプローチであるSymDQNを紹介する。 モジュールはアクションポリシー学習をガイドし、強化学習エージェントが環境に関する推論と整合した振る舞いを表示できるようにする。 我々のアーキテクチャは、性能とエージェントの精度の両方において、学習を大幅に改善することを示します。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We propose a learning architecture that allows symbolic control and guidance in reinforcement learning with deep neural networks. We introduce SymDQN, a novel modular approach that augments the existing Dueling Deep Q-Networks (DuelDQN) architecture with modules based on the neuro-symbolic framework of Logic Tensor Networks (LTNs). The modules guide action policy learning and allow reinforcement learning agents to display behaviour consistent with reasoning about the environment. Our experiment is an ablation study performed on the modules. It is conducted in a reinforcement learning environment of a 5x5 grid navigated by an agent that encounters various shapes, each associated with a given reward. The underlying DuelDQN attempts to learn the optimal behaviour of the agent in this environment, while the modules facilitate shape recognition and reward prediction. We show that our architecture significantly improves learning, both in terms of performance and the precision of the agent. The modularity of SymDQN allows reflecting on the intricacies and complexities of combining neural and symbolic approaches in reinforcement learning.
• Abstract（参考訳）: 深層ニューラルネットワークを用いた強化学習におけるシンボル制御と指導を可能にする学習アーキテクチャを提案する。 我々は,既存のDueling Deep Q-Networks(DuelDQN)アーキテクチャを,論理テンソルネットワーク(LTN)のニューロシンボリックフレームワークに基づいたモジュールで拡張する,新しいモジュラーアプローチであるSymDQNを紹介する。 モジュールはアクションポリシー学習をガイドし、強化学習エージェントが環境に関する推論と整合した振る舞いを表示できるようにする。 実験はモジュール上で行ったアブレーション実験である。 与えられた報酬に関連する様々な形状に遭遇するエージェントによってナビゲートされた5x5グリッドの強化学習環境で実行される。 基盤となるDuelDQNは、この環境でエージェントの最適な振る舞いを学習し、モジュールは形状認識と報酬予測を促進する。 我々のアーキテクチャは、性能とエージェントの精度の両方において、学習を大幅に改善することを示します。 SymDQNのモジュラリティは、強化学習におけるニューラルネットワークとシンボリックアプローチの組み合わせの複雑さと複雑さの反映を可能にする。

関連論文リスト

• Induced Modularity and Community Detection for Functionally Interpretable Reinforcement Learning [1.597617022056624]
  強化学習における解釈可能性は、AIシステムが人間の価値観と一致することを保証するために不可欠である。 強化学習エージェントの政策ネットワークにおいて,非局所重みのペナル化が機能的に独立なモジュールの出現につながることを示す。
  論文  参考訳（メタデータ） (2025-01-28T17:02:16Z)
• Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning [0.0]
  与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。 モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。 以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-10T13:44:07Z)
• The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
  Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。 ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。 新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-02T20:33:14Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Towards Understanding the Link Between Modularity and Performance in Neural Networks for Reinforcement Learning [2.038038953957366]
  最適性能のためのネットワークモジュラリティの量は、ネットワークの他の多くの特徴と問題環境の間の複雑な関係に絡み合っている可能性が高い。 我々は、ニューラルネットワークアーキテクチャのリッチで自動最適化と探索を可能にする古典的な神経進化アルゴリズムを使用した。
  論文  参考訳（メタデータ） (2022-05-13T05:18:18Z)
• Active Predictive Coding Networks: A Neural Solution to the Problem of Learning Reference Frames and Part-Whole Hierarchies [1.5990720051907859]
  APCN(Active Predictive Coding Networks)を紹介する。 APCNは、人工知能と脳モデリングの分野において、Hintonらによって引き起こされた主要な問題を解決するニューラルネットワークの新しいクラスである。 APCNは(a)画像を部分全体階層に解析し、(b)構成表現を学習し、(c)未知のオブジェクトのクラスにその知識を移すことを実証する。
  論文  参考訳（メタデータ） (2022-01-14T21:22:48Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。