論文の概要: Mastering Symbolic Operations: Augmenting Language Models with Compiled
Neural Networks
- arxiv url: http://arxiv.org/abs/2304.01665v3
- Date: Sat, 9 Mar 2024 15:27:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 17:38:56.007770
- Title: Mastering Symbolic Operations: Augmenting Language Models with Compiled
Neural Networks
- Title(参考訳): マスタリング記号演算: コンパイルされたニューラルネットワークによる言語モデルの拡張
- Authors: Yixuan Weng, Minjun Zhu, Fei Xia, Bin Li, Shizhu He, Kang Liu, Jun
Zhao
- Abstract要約: ニューラルアーキテクチャ」は、コンパイルされたニューラルネットワーク(CoNN)を標準変換器に統合する。
CoNNは、人工的に生成された注意重みを通してルールを明示的にエンコードするように設計されたニューラルネットワークモジュールである。
実験は,シンボル操作における長さ一般化,効率,解釈可能性の観点から,既存の手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 48.14324895100478
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language models' (LMs) proficiency in handling deterministic symbolic
reasoning and rule-based tasks remains limited due to their dependency implicit
learning on textual data. To endow LMs with genuine rule comprehension
abilities, we propose "Neural Comprehension" - a framework that synergistically
integrates compiled neural networks (CoNNs) into the standard transformer
architecture. CoNNs are neural modules designed to explicitly encode rules
through artificially generated attention weights. By incorporating CoNN
modules, the Neural Comprehension framework enables LMs to accurately and
robustly execute rule-intensive symbolic tasks. Extensive experiments
demonstrate the superiority of our approach over existing techniques in terms
of length generalization, efficiency, and interpretability for symbolic
operations. Furthermore, it can be applied to LMs across different model
scales, outperforming tool-calling methods in arithmetic reasoning tasks while
maintaining superior inference efficiency. Our work highlights the potential of
seamlessly unifying explicit rule learning via CoNNs and implicit pattern
learning in LMs, paving the way for true symbolic comprehension capabilities.
- Abstract(参考訳): 言語モデル(lms) 決定論的シンボリック推論と規則に基づくタスクを扱う能力は、テキストデータに暗黙的な学習に依存するため、まだ限られている。
我々は,lmsに真のルール理解能力を与えるために,コンパイルされたニューラルネットワーク(conns)を標準のトランスフォーマーアーキテクチャに統合するフレームワーク「neural comprehension」を提案する。
CoNNは、人工的に生成された注意重みを通してルールを明示的にエンコードするように設計されたニューラルネットワークモジュールである。
CoNNモジュールを組み込むことで、Neural Comprehensionフレームワークは、LMがルール集約的なシンボリックタスクを正確かつ堅牢に実行できるようにする。
拡張実験は, シンボル操作における長さ一般化, 効率, 解釈可能性の観点から, 既存の手法よりも優れていることを示す。
さらに、様々なモデルスケールのlmsに適用でき、優れた推論効率を維持しつつ、算術推論タスクにおけるツール呼び出しメソッドを上回っている。
我々の研究は、CNNによる明示的なルール学習とLMにおける暗黙的なパターン学習をシームレスに統一する可能性を強調し、真の象徴的理解能力の道を開いた。
関連論文リスト
- The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。
ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。
新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
論文 参考訳(メタデータ) (2024-02-02T20:33:14Z) - Deep Inductive Logic Programming meets Reinforcement Learning [0.0]
微分可能なニューラルロジック(dNL)ネットワークは、そのニューラルアーキテクチャがシンボリック推論を含むため、関数を学習することができる。
動的連続環境に対処するための強化学習(RRL)分野におけるdNLの適用を提案する。
論文 参考訳(メタデータ) (2023-08-30T09:08:46Z) - Artificial-Spiking Hierarchical Networks for Vision-Language
Representation Learning [16.902924543372713]
最先端の手法は、大規模データセットの事前トレーニングによって、素晴らしいパフォーマンスを達成する。
本稿では,新しい視覚的セマンティックモジュールを導入することで,マルチモーダルアライメントのための効率的なフレームワークを提案する。
実験の結果、提案されたASH-Netsは競合する結果が得られることが示された。
論文 参考訳(メタデータ) (2023-08-18T10:40:25Z) - Emergent Linguistic Structures in Neural Networks are Fragile [20.692540987792732]
大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すと報告されている。
言語表現の一貫性と堅牢性を評価するための枠組みを提案する。
論文 参考訳(メタデータ) (2022-10-31T15:43:57Z) - Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。
他のものと比較して、LNNは古典的なブール論理と強く結びついている。
標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
論文 参考訳(メタデータ) (2021-12-06T19:38:30Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Reinforcement Learning with External Knowledge by using Logical Neural
Networks [67.46162586940905]
論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。
外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
論文 参考訳(メタデータ) (2021-03-03T12:34:59Z) - NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。
NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。
NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
論文 参考訳(メタデータ) (2020-12-09T13:02:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。