論文の概要: Neural Comprehension: Language Models with Compiled Neural Networks

• arxiv url: http://arxiv.org/abs/2304.01665v1
• Date: Tue, 4 Apr 2023 09:50:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 14:28:48.039690
• Title: Neural Comprehension: Language Models with Compiled Neural Networks
• Title（参考訳）: ニューラル理解:コンパイルニューラルネットワークを用いた言語モデル
• Authors: Yixuan Weng, Minjun Zhu, Fei Xia, Bin Li, Shizhu He, Kang Liu, Jun Zhao
• Abstract要約: コンパイルされたニューラルネットワーク(CoNN)を言語モデルのアーキテクチャに組み込む方法について説明する。 我々の手法は「ニューラル」と呼ばれ、記号演算において言語モデルが絶対的精度を達成するのに役立つ。
• 参考スコア（独自算出の注目度）: 23.89579895210037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models have achieved impressive results in natural language processing tasks, but their ability to perform symbolic operations and arithmetic operations, remains limited, which attribute to their learn the rules implicitly from data. We explore how to incorporate compiled neural networks (CoNNs) which weight is specially designed, into the architecture of language models to enable the language model trained by gradient to obtain fully rule comprehension ability. The incorporation of compiled neural networks offers a promising direction for improving the performance of language models on compound tasks, particularly in areas that require a deeper comprehension of abstract rules beyond recognizing patterns in training data. Our method, which call "Neural Comprehension", helps language models achieve absolute accuracy in symbolic operations, thereby enhancing their ability for rule reasoning, symbolic reasoning, and arithmetic reasoning. Our code is publicly available at: \url{https://github.com/WENGSYX/Neural-Comprehension}.
• Abstract（参考訳）: 言語モデルは自然言語処理タスクで印象的な結果を得ているが、シンボリック操作や算術演算を行う能力は限られており、データから規則を暗黙的に学習している。 我々は、重み付けを特別に設計したコンパイルニューラルネットワーク(CoNN)を言語モデルのアーキテクチャに組み込んで、勾配によって訓練された言語モデルが完全なルール理解能力を得ることを可能にする方法について検討する。 コンパイルされたニューラルネットワークの導入は、複合タスクにおける言語モデルのパフォーマンス向上に有望な方向性を提供する。特に、トレーニングデータのパターン認識以上の抽象ルールをより深く理解する必要がある領域において。 ニューラル理解 (neural comprehension) と呼ぶこの手法は, 言語モデルが記号的操作における絶対的正確性を達成するのに役立ち, 規則推論, 記号的推論, 算術的推論の能力を高める。 私たちのコードは以下で公開されている。 \url{https://github.com/WENGSYX/Neural-Comprehension}。

関連論文リスト

• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Deep Inductive Logic Programming meets Reinforcement Learning [0.0]
  微分可能なニューラルロジック(dNL)ネットワークは、そのニューラルアーキテクチャがシンボリック推論を含むため、関数を学習することができる。 動的連続環境に対処するための強化学習(RRL)分野におけるdNLの適用を提案する。
  論文  参考訳（メタデータ） (2023-08-30T09:08:46Z)
• Emergent Linguistic Structures in Neural Networks are Fragile [20.692540987792732]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すと報告されている。 言語表現の一貫性と堅牢性を評価するための枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T15:43:57Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
  我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。 他のものと比較して、LNNは古典的なブール論理と強く結びついている。 標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
  論文  参考訳（メタデータ） (2021-12-06T19:38:30Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
  本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。 NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。 NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
  論文  参考訳（メタデータ） (2020-12-09T13:02:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。