論文の概要: Symbolic Working Memory Enhances Language Models for Complex Rule Application

• arxiv url: http://arxiv.org/abs/2408.13654v1
• Date: Sat, 24 Aug 2024 19:11:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 18:29:37.143721
• Title: Symbolic Working Memory Enhances Language Models for Complex Rule Application
• Title（参考訳）: 記号型ワーキングメモリは複雑なルール適用のための言語モデルを強化する
• Authors: Siyuan Wang, Zhongyu Wei, Yejin Choi, Xiang Ren,
• Abstract要約: 大規模言語モデル(LLM)は、顕著な推論性能を示しているが、多段階の推論に苦慮している。 本稿では,外部ワーキングメモリを用いたLLMの拡張と,ルール適用のためのニューロシンボリックフレームワークを提案する。 当社のフレームワークは,LLMベースのルール実装とシンボリックルールグラウンディングを反復的に実施する。
• 参考スコア（独自算出の注目度）: 87.34281749422756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown remarkable reasoning performance but struggle with multi-step deductive reasoning involving a series of rule application steps, especially when rules are presented non-sequentially. Our preliminary analysis shows that while LLMs excel in single-step rule application, their performance drops significantly in multi-step scenarios due to the challenge in rule grounding. It requires anchoring the applicable rule and supporting facts at each step, amidst multiple input rules, facts, and inferred facts. To address this, we propose augmenting LLMs with external working memory and introduce a neurosymbolic framework for rule application. The memory stores facts and rules in both natural language and symbolic forms, enabling precise tracking. Utilizing this memory, our framework iteratively performs symbolic rule grounding and LLM-based rule implementation. The former matches predicates and variables of symbolic rules and facts to ground applicable rules at each step. Experiments indicate our framework's effectiveness in rule application and its robustness across various steps and settings~\footnote{Code and data are available at \url{https://github.com/SiyuanWangw/RuleApplication}.}.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、顕著な推論性能を示しているが、特に規則を連続的に提示しない場合に、一連のルール適用ステップを含む多段階の推論に苦慮している。 予備分析の結果,LLMは単一ステップルールアプリケーションでは優れているが,ルールグラウンディングの課題により,多ステップシナリオでは性能が著しく低下することがわかった。 複数の入力ルール、事実、推測された事実の中で、適用可能なルールを固定し、各ステップで事実をサポートする必要がある。 そこで本研究では,外部動作メモリを用いたLLMの拡張と,ルール適用のためのニューロシンボリックフレームワークを提案する。 メモリは、ファクトとルールを自然言語とシンボルの両方に格納し、正確な追跡を可能にする。 このメモリを利用することで、私達のフレームワークはシンボリック・ルール・グラウンディングとLLMベースのルール実装を反復的に実行します。 前者は象徴的な規則と事実の述語と変数を一致させ、各ステップで適用可能な規則を基礎とする。 実験では、ルール適用における我々のフレームワークの有効性と、さまざまなステップと設定にわたる堅牢性を示します。 と。

関連論文リスト

• LogicGame: Benchmarking Rule-Based Reasoning Abilities of Large Language Models [87.49676980090555]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示し、複雑な問題解決能力を示している。 LLMの包括的なルール理解、実行、計画能力を評価するために設計された新しいベンチマークであるLogicGameを紹介する。
  論文  参考訳（メタデータ） (2024-08-28T13:16:41Z)
• Neuro-Symbolic Temporal Point Processes [13.72758658973969]
  本稿では,時間点プロセスモデルにニューラル・シンボリック・ルール誘導フレームワークを導入する。 負の対数類似性は学習を導く損失であり、説明論理則とその重みがエンドツーエンドで学習される。 提案手法は, 合成データセットおよび実データセット間で, 顕著な効率性と精度を示す。
  論文  参考訳（メタデータ） (2024-06-06T09:52:56Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• Enabling Large Language Models to Learn from Rules [99.16680531261987]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)
• Can LLMs Follow Simple Rules? [28.73820874333199]
  ルール追従言語評価シナリオ(ルール追従言語評価シナリオ、RuLES)は、大規模言語モデルにおけるルール追従能力を測定するためのフレームワークである。 RuLESは14の単純なテキストシナリオで構成され、そこではモデルがユーザと対話しながら様々なルールに従うように指示される。 現在のほとんどのモデルは、単純なテストケースであっても、シナリオルールに従うのに苦労しています。
  論文  参考訳（メタデータ） (2023-11-06T08:50:29Z)
• Large Language Models can Learn Rules [106.40747309894236]
  大規模言語モデル(LLM)を用いた推論のためのルールライブラリを学習するフレームワークであるHtTを提案する。 リレーショナル推論、数値推論、概念学習に関する実験は、HtTが既存のプロンプト法を改善することを示す。 学習されたルールは、異なるモデルや同じ問題の異なる形式にも転送可能である。
  論文  参考訳（メタデータ） (2023-10-10T23:07:01Z)
• ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning [107.61997887260056]
  そこで我々は,知識グラフ上の論理ルールをマイニングするための大規模言語モデルの力を解き放つ新しいフレームワークChatRuleを提案する。 具体的には、このフレームワークは、KGのセマンティック情報と構造情報の両方を活用するLLMベースのルールジェネレータで開始される。 生成されたルールを洗練させるために、ルールランキングモジュールは、既存のKGから事実を取り入れてルール品質を推定する。
  論文  参考訳（メタデータ） (2023-09-04T11:38:02Z)
• Building Rule Hierarchies for Efficient Logical Rule Learning from Knowledge Graphs [20.251630903853016]
  本稿では,ルール階層を用いて非プロミッシングルールを抽出する新しい手法を提案する。 HPMの応用は非プロムルールの除去に有効であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T16:33:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。