論文の概要: Mastering Symbolic Operations: Augmenting Language Models with Compiled Neural Networks

• arxiv url: http://arxiv.org/abs/2304.01665v2
• Date: Thu, 18 May 2023 08:48:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 19:45:51.376247
• Title: Mastering Symbolic Operations: Augmenting Language Models with Compiled Neural Networks
• Title（参考訳）: マスタリング記号演算: コンパイルされたニューラルネットワークによる言語モデルの拡張
• Authors: Yixuan Weng, Minjun Zhu, Fei Xia, Bin Li, Shizhu He, Kang Liu, Jun Zhao
• Abstract要約: 決定論的シンボリック推論や規則に基づくタスクを扱うための言語モデル(LM)の習熟度は依然として限られている。 LMのアーキテクチャに重みを特別に設計したコンパイルニューラルネットワーク(CoNN)を組み込む方法について検討する。 CNNモジュールをLMに組み込むことで“Neural”と呼ぶこの手法は,ルール集約的な課題を効果的に解決する。
• 参考スコア（独自算出の注目度）: 23.89579895210037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models (LMs) proficiency in handling deterministic symbolic reasoning and rule-based tasks remains limited due to their dependency implicit learning on textual data. To enable fully rule comprehension ability, we explore how to incorporate compiled neural networks (CoNNs) which weight is specially designed into the architecture of LMs, to achieve high accuracy and robust performance. CoNNs are transformer-based neural networks that execute rules through artificially generated attention weights. Our method, which call "Neural Comprehension", by incorporating CoNN modules into the LM, the framework effectively tackles rule-intensive challenges. Our experiments on symbolic reasoning tasks and real-world arithmetic reasoning tasks demonstrate the superior performance of our method compared to existing techniques. Furthermore, our LM achieves flawless execution on symbolic operations tasks, highlighting the potential of our method in enabling LMs to possess true symbolic comprehension capabilities. Our code is publicly available at: https://github.com/WENGSYX/Neural-Comprehension.
• Abstract（参考訳）: 言語モデル(lms) 決定論的シンボリック推論と規則に基づくタスクを扱う能力は、テキストデータに暗黙的な学習に依存するため、依然として限られている。 完全なルール理解能力を実現するために,LMのアーキテクチャに重みを特別に設計したコンパイルニューラルネットワーク(CoNN)を組み込んで,高精度で堅牢な性能を実現する方法について検討する。 CoNNは、人工的に生成された注目重みを通してルールを実行するトランスフォーマーベースのニューラルネットワークである。 CNNモジュールをLMに組み込むことで"Neural Comprehension"と呼ぶこの手法は,ルール集約的な課題を効果的に解決する。 シンボル推論タスクと実世界の算術推論タスクに関する実験は,既存の手法と比較して,提案手法の優れた性能を示す。 さらに,本手法が真に象徴的理解能力を有することの可能性を強調して,記号的操作タスクにおける不完全な実行を実現する。 私たちのコードは、https://github.com/wengsyx/neural-comprehensionで公開されています。

関連論文リスト

• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Deep Inductive Logic Programming meets Reinforcement Learning [0.0]
  微分可能なニューラルロジック(dNL)ネットワークは、そのニューラルアーキテクチャがシンボリック推論を含むため、関数を学習することができる。 動的連続環境に対処するための強化学習(RRL)分野におけるdNLの適用を提案する。
  論文  参考訳（メタデータ） (2023-08-30T09:08:46Z)
• Emergent Linguistic Structures in Neural Networks are Fragile [20.692540987792732]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すと報告されている。 言語表現の一貫性と堅牢性を評価するための枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T15:43:57Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
  我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。 他のものと比較して、LNNは古典的なブール論理と強く結びついている。 標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
  論文  参考訳（メタデータ） (2021-12-06T19:38:30Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
  本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。 NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。 NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
  論文  参考訳（メタデータ） (2020-12-09T13:02:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。