論文の概要: Improving Rule-based Reasoning in LLMs via Neurosymbolic Representations

• arxiv url: http://arxiv.org/abs/2502.01657v1
• Date: Fri, 31 Jan 2025 20:29:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:02:54.903916
• Title: Improving Rule-based Reasoning in LLMs via Neurosymbolic Representations
• Title（参考訳）: ニューロシンボリック表現によるLCMのルールベース推論の改善
• Authors: Varun Dhanraj, Chris Eliasmith,
• Abstract要約: 大規模言語モデル(LLM)は、推論タスクを確実に解決する上で、引き続き課題に直面している。 本稿では,隠れた状態をニューロシンボリックベクターにエンコードすることで,LLM推論を改善する新しいニューロシンボリック手法を提案する。 結果はデコードされ、元の隠れ状態と組み合わせられ、数値推論タスクにおけるモデルの性能が向上する。
• 参考スコア（独自算出の注目度）: 3.5604294978773265
• License:
• Abstract: Large language models (LLMs) continue to face challenges in reliably solving reasoning tasks, particularly tasks that involve precise rule following, as often found in mathematical reasoning tasks. This paper introduces a novel neurosymbolic method that improves LLM reasoning by encoding hidden states into neurosymbolic vectors, allowing for problem-solving within a neurosymbolic vector space. The results are decoded and combined with the original hidden state, boosting the model's performance on numerical reasoning tasks. By offloading computation through neurosymbolic representations, this method improves efficiency, reliability, and interpretability. Our experimental results demonstrate an average of $82.86\%$ lower cross entropy loss and $24.50$ times more problems correctly solved on a suite of mathematical reasoning problems compared to chain-of-thought prompting and supervised fine-tuning (LoRA), while at the same time not hindering the performance of the LLM on other tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、数学的推論タスクでよく見られるように、推論タスク、特に厳密な規則に従うタスクを確実に解くという課題に直面し続けている。 本稿では,隠された状態をニューロシンボリックベクトル空間にエンコードすることで,LLM推論を改善する新しいニューロシンボリック手法を提案する。 結果はデコードされ、元の隠れ状態と組み合わせられ、数値推論タスクにおけるモデルの性能が向上する。 ニューロシンボリック表現を通じて計算をオフロードすることにより、効率、信頼性、解釈可能性を向上させる。 実験結果は,LLMが他のタスクにおいて性能を損なうことなく,チェーン・オブ・ソート・プロンプトと教師付き微調整(LoRA)と比較して,平均8,2.86 %の低いクロスエントロピー損失と24.50 ドル以上の問題を数学的推論問題群で正しく解いたことを示す。

関連論文リスト

• On Scaling Neurosymbolic Programming through Guided Logical Inference [1.124958340749622]
  そこで我々は,論理的証明の計算をバイパスするアルゴリズムNLを提案する。 このアプローチは, ApproxDPNL と呼ばれる $epsilon$ あるいは $(epsilon, delta)$ 保証を用いて近似推論に適応可能であることを示す。
  論文  参考訳（メタデータ） (2025-01-30T08:49:25Z)
• Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data [53.433309883370974]
  本研究では,大規模言語モデルの推論能力を高めるための学習信号としてグラフベースの合成推論データを使用することの可能性と限界について検討する。 2つの確立された自然言語推論タスクにおいて,合成グラフに基づく推論データによる教師付き微調整が,他の標準評価ベンチマークでの有効性を損なうことなく,LLMの推論性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T03:39:09Z)
• Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
  大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。 本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:46Z)
• A Neuro-Symbolic Approach to Multi-Agent RL for Interpretability and Probabilistic Decision Making [42.503612515214044]
  マルチエージェント強化学習(MARL)は、複数のエージェントが共存し、共有リソースと競合するシステムにおいて、実行時の意思決定に適している。 ディープラーニングベースの一般的なMARLソリューションを実世界の問題に適用することは、解釈可能性、サンプル効率、部分観測可能性などの問題に悩まされる。 本稿では,ニューロシンボリック手法を用いて,意思決定を分散協調的MARLエージェントで処理するイベント駆動型定式化を提案する。
  論文  参考訳（メタデータ） (2024-02-21T00:16:08Z)
• Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
  算術的推論とコード生成という,2つの一般的な推論タスクに注目します。 i) 数学やコーディング問題に対する摂動の一般的なオントロジー, (ii) 摂動を応用するための半自動手法, (iii) 2つのデータセットを紹介する。 混乱した質問に対して、すべてのモデルで大幅なパフォーマンス低下を示します。
  論文  参考訳（メタデータ） (2024-01-17T18:13:07Z)
• LLMs for Relational Reasoning: How Far are We? [8.840750655261251]
  大規模言語モデル(LLM)は、下流タスクで最先端のパフォーマンスを達成することで、多くの領域に革命をもたらした。 近年の取り組みにより,LSMは逐次決定問題の解決に乏しいことが示されている。
  論文  参考訳（メタデータ） (2024-01-17T08:22:52Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• LogicMP: A Neuro-symbolic Approach for Encoding First-order Logic Constraints [42.16663204729038]
  本稿では,MLN上で平均場変動推定を行う新しいニューラルネットワーク層LogicMPを提案する。 モジュール性と効率を保ちながら、FOLCをエンコードするために、市販のニューラルネットワークにプラグインすることができる。 グラフ、画像、テキストの3種類のタスクを経験した結果、LogicMPは、パフォーマンスと効率の両面で、先進的な競合より優れています。
  論文  参考訳（メタデータ） (2023-09-27T07:52:30Z)
• Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
  我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。 他のものと比較して、LNNは古典的なブール論理と強く結びついている。 標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
  論文  参考訳（メタデータ） (2021-12-06T19:38:30Z)
• Neural-Symbolic Solver for Math Word Problems with Auxiliary Tasks [130.70449023574537]
  我々のNS-rは、問題を読み取り、問題をエンコードする問題リーダーと、記号方程式を生成するプログラマと、答えを得るシンボリックエグゼキュータから構成される。 また, 目的表現の監督とともに, 4つの新たな補助的目的によって, 異なる記号的推論を強制的に行うように最適化した。
  論文  参考訳（メタデータ） (2021-07-03T13:14:58Z)
• Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning [134.77207192945053]
  従来の手法は強化学習アプローチを用いてニューラルシンボリックモデルを学ぶ。 我々は,脳神経知覚と記号的推論を橋渡しする前に,textbfgrammarモデルをテキストシンボリックとして導入する。 本稿では,トップダウンのヒューマンライクな学習手順を模倣して誤りを伝播する新しいtextbfback-searchアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。