論文の概要: Improving Rule-based Reasoning in LLMs via Neurosymbolic Representations

• arxiv url: http://arxiv.org/abs/2502.01657v2
• Date: Sun, 25 May 2025 02:03:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 14:32:53.275301
• Title: Improving Rule-based Reasoning in LLMs via Neurosymbolic Representations
• Title（参考訳）: ニューロシンボリック表現によるLCMのルールベース推論の改善
• Authors: Varun Dhanraj, Chris Eliasmith,
• Abstract要約: 大規模言語モデル(LLM)は、推論タスクを確実に解決する上で、引き続き課題に直面している。 本稿では,隠れた状態をニューロシンボリックベクターにエンコードすることで,LLM推論を改善する新しいニューロシンボリック手法を提案する。
• 参考スコア（独自算出の注目度）: 3.5604294978773265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) continue to face challenges in reliably solving reasoning tasks, particularly those that require precise rule following, as often found in mathematical reasoning. This paper introduces a novel neurosymbolic method that improves LLM reasoning by encoding hidden states into neurosymbolic vectors, enabling problem-solving within a neurosymbolic vector space. The results are decoded and merged with the original hidden state, significantly boosting the model's performance on numerical reasoning tasks. By offloading computation through neurosymbolic representations, this method enhances efficiency, reliability, and interpretability. Experimental results demonstrate an average of 88.6% lower cross-entropy loss and 15.4 times more problems correctly solved on a suite of mathematical reasoning tasks compared to chain-of-thought prompting and supervised fine-tuning (LoRA), without degrading performance on other tasks. We make our code available at: https://github.com/vdhanraj/Neurosymbolic-LLM.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、数学的推論でよく見られるように、推論タスク、特に厳密なルールを必要とするタスクを確実に解くことの課題に直面し続けている。 本稿では,隠れた状態をニューロシンボリックベクトルにエンコードすることで,LLM推論を改善し,ニューロシンボリックベクトル空間内での問題解決を可能にする新しいニューロシンボリック手法を提案する。 結果は復号化され、元の隠れ状態とマージされ、数値推論タスクにおけるモデルの性能が大幅に向上する。 ニューロシンボリック表現を通じて計算をオフロードすることで、効率、信頼性、解釈可能性を高める。 実験結果は、平均88.6%のクロスエントロピー損失と15.4倍の問題を、他のタスクのパフォーマンスを低下させることなく、チェーン・オブ・ソート・プロンプトや教師付き微調整(LoRA)よりも正確に解いたことを示している。 コードはhttps://github.com/vdhanraj/Neurosymbolic-LLM.comで公開しています。

関連論文リスト

• Neuro Symbolic Knowledge Reasoning for Procedural Video Question Answering [26.013577822475856]
  本稿では、複雑な推論に手続き的知識を活用するためのモデルに挑戦する、新しいビデオ質問応答データセットを提案する。 視覚的実体を認識し、仮説を生成し、文脈的、因果的、反事実的推論を実行する必要がある。
  論文  参考訳（メタデータ） (2025-03-19T07:49:14Z)
• On Scaling Neurosymbolic Programming through Guided Logical Inference [1.124958340749622]
  そこで我々は,論理的証明の計算をバイパスするアルゴリズムNLを提案する。 このアプローチは, ApproxDPNL と呼ばれる $epsilon$ あるいは $(epsilon, delta)$ 保証を用いて近似推論に適応可能であることを示す。
  論文  参考訳（メタデータ） (2025-01-30T08:49:25Z)
• Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data [53.433309883370974]
  本研究では,大規模言語モデルの推論能力を高めるための学習信号としてグラフベースの合成推論データを使用することの可能性と限界について検討する。 2つの確立された自然言語推論タスクにおいて,合成グラフに基づく推論データによる教師付き微調整が,他の標準評価ベンチマークでの有効性を損なうことなく,LLMの推論性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T03:39:09Z)
• Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
  大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。 本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:46Z)
• A Neuro-Symbolic Approach to Multi-Agent RL for Interpretability and Probabilistic Decision Making [42.503612515214044]
  マルチエージェント強化学習(MARL)は、複数のエージェントが共存し、共有リソースと競合するシステムにおいて、実行時の意思決定に適している。 ディープラーニングベースの一般的なMARLソリューションを実世界の問題に適用することは、解釈可能性、サンプル効率、部分観測可能性などの問題に悩まされる。 本稿では,ニューロシンボリック手法を用いて,意思決定を分散協調的MARLエージェントで処理するイベント駆動型定式化を提案する。
  論文  参考訳（メタデータ） (2024-02-21T00:16:08Z)
• Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
  算術的推論とコード生成という,2つの一般的な推論タスクに注目します。 i) 数学やコーディング問題に対する摂動の一般的なオントロジー, (ii) 摂動を応用するための半自動手法, (iii) 2つのデータセットを紹介する。 混乱した質問に対して、すべてのモデルで大幅なパフォーマンス低下を示します。
  論文  参考訳（メタデータ） (2024-01-17T18:13:07Z)
• LLMs for Relational Reasoning: How Far are We? [8.840750655261251]
  大規模言語モデル(LLM)は、下流タスクで最先端のパフォーマンスを達成することで、多くの領域に革命をもたらした。 近年の取り組みにより,LSMは逐次決定問題の解決に乏しいことが示されている。
  論文  参考訳（メタデータ） (2024-01-17T08:22:52Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• LogicMP: A Neuro-symbolic Approach for Encoding First-order Logic Constraints [42.16663204729038]
  本稿では,MLN上で平均場変動推定を行う新しいニューラルネットワーク層LogicMPを提案する。 モジュール性と効率を保ちながら、FOLCをエンコードするために、市販のニューラルネットワークにプラグインすることができる。 グラフ、画像、テキストの3種類のタスクを経験した結果、LogicMPは、パフォーマンスと効率の両面で、先進的な競合より優れています。
  論文  参考訳（メタデータ） (2023-09-27T07:52:30Z)
• Unlocking Temporal Question Answering for Large Language Models with Tailor-Made Reasoning Logic [84.59255070520673]
  大きな言語モデル(LLM)は、時間的推論に関わる際に課題に直面します。 本研究では,時間的質問応答タスクに特化して設計された新しいフレームワークであるTempLogicを提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:57:53Z)
• Mastering Symbolic Operations: Augmenting Language Models with Compiled Neural Networks [48.14324895100478]
  ニューラルアーキテクチャ」は、コンパイルされたニューラルネットワーク(CoNN)を標準変換器に統合する。 CoNNは、人工的に生成された注意重みを通してルールを明示的にエンコードするように設計されたニューラルネットワークモジュールである。 実験は,シンボル操作における長さ一般化,効率,解釈可能性の観点から,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-04T09:50:07Z)
• Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
  我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。 他のものと比較して、LNNは古典的なブール論理と強く結びついている。 標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
  論文  参考訳（メタデータ） (2021-12-06T19:38:30Z)
• Neural-Symbolic Solver for Math Word Problems with Auxiliary Tasks [130.70449023574537]
  我々のNS-rは、問題を読み取り、問題をエンコードする問題リーダーと、記号方程式を生成するプログラマと、答えを得るシンボリックエグゼキュータから構成される。 また, 目的表現の監督とともに, 4つの新たな補助的目的によって, 異なる記号的推論を強制的に行うように最適化した。
  論文  参考訳（メタデータ） (2021-07-03T13:14:58Z)
• Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning [134.77207192945053]
  従来の手法は強化学習アプローチを用いてニューラルシンボリックモデルを学ぶ。 我々は,脳神経知覚と記号的推論を橋渡しする前に,textbfgrammarモデルをテキストシンボリックとして導入する。 本稿では,トップダウンのヒューマンライクな学習手順を模倣して誤りを伝播する新しいtextbfback-searchアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。