論文の概要: Beyond Factual Knowledge: Benchmarking and Learning Step-Level Procedural Rule Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2608.22753v1
• Date: Mon, 24 Aug 2026 03:22:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.878164
• Title: Beyond Factual Knowledge: Benchmarking and Learning Step-Level Procedural Rule Reasoning in Large Language Models
• Title（参考訳）: ファクチュアル知識を超えて:大規模言語モデルにおける段階的な手続きルール推論のベンチマークと学習
• Abstract要約: 大規模言語モデル(LLM)は、テキストの理解と生成に優れるが、大規模に提供される外部の手続き規則を確実に理解し適用することは困難である。 我々は、ルールをインスタンス固有の事実ではなく、グローバルに再利用可能な抽象単位として再構成する大規模なベンチマークであるルールワールドを紹介した。 我々は、与えられたルールをKVキャッシュに注入し、検索を内部で学習可能なステップワイズプロセスに変換するエンドツーエンドフレームワークDynaRuleを提案する。
• 参考スコア（独自算出の注目度）: 33.61747923589224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) excel at text understanding and generation, yet still struggle to reliably understand and apply externally provided procedural rules at scale. To evaluate this capability, we introduce RuleWorld, a large-scale benchmark that reformulates rules as globally reusable abstract units rather than instance-specific facts. In RuleWorld, several scenarios, including single-rule, parallel multi-rule, and multi-hop reasoning, are settled for comprehensive evaluation. We further propose DynaRule, an end-to-end framework that injects the given rules into the KV cache and turns retrieval into an internal, learnable, step-wise process. Specifically, DynaRule employs Stacked Step-Level Attention Training with a special <search> token to enable dynamic rule re-attention and updating during inference. In this way, the model can re-attend to the most relevant rules at each step, dynamically replacing outdated ones to support more stable multi-step reasoning. Experiments on RuleWorld show that existing LLMs face challenges under large rule pools, while DynaRule improves average QA accuracy by up to 19 points and achieves over 85% Recall@1 at 10K rules, outperforming strong baselines by large margins. We make our code and dataset available here: https://github.com/SharkSpicy-NLP/Beyond-Factual-Knowledge.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキストの理解と生成に優れるが、外部から提供された手続きルールを大規模に理解し、適用することは困難である。 この能力を評価するために、ルールをインスタンス固有の事実ではなく、グローバルに再利用可能な抽象単位として再構成する大規模なベンチマークであるルールワールドを導入する。 RuleWorldでは、総合的な評価のために、シングルルール、並列マルチルール、マルチホップ推論を含むいくつかのシナリオが解決されている。 さらに、与えられたルールをKVキャッシュに注入し、検索を内部で学習可能なステップワイズプロセスに変換する、エンドツーエンドフレームワークDynaRuleを提案する。 具体的には、DynaRuleはスタックされたステップレベルアテンショントレーニングと特別な<search>トークンを使用して、推論中に動的ルールの再アテンションと更新を可能にする。 このように、モデルは各ステップにおいて最も関連性の高いルールに再従属することができ、より安定したマルチステップ推論をサポートするために、時代遅れのルールを動的に置き換えることができます。 RuleWorldの実験では、既存のLLMは大きなルールプールの下で課題に直面しており、DynaRuleは平均的なQA精度を19ポイント改善し、10Kルールで85% Recall@1を達成し、大きなマージンで強いベースラインを上回ります。 https://github.com/SharkSpicy-NLP/Beyond-Factual-Knowledge.com/Beyond-Factual-Knowledge.com/https:// github.com/SharkSpicy-NLP/Beyond-Factual-Knowledge.com/

関連論文リスト

• RuleWeaver: Benchmarking Rule-Centered Scenario Reasoning for Large Language Models [39.01774351778858]
  本稿ではルール中心のシナリオ推論を評価するためのベンチマーク構築フレームワークであるルールウィーバーを紹介する。 現在のモデルは依然として複雑なルール中心のシナリオ推論に苦戦しており、最高の性能のモデルでさえ、最大ルーリックスコアの50%程度しか達成できていない。
  論文  参考訳（メタデータ） (2026-08-27T09:05:11Z)
• Distributed Multi-Layer Editing for Rule-Level Knowledge in Large Language Models [56.355176278601476]
  大規模言語モデルは、孤立した事実だけでなく、記号表現、自然言語の説明、具体例の推論をサポートするルールも格納する。 ほとんどのモデル編集手法は、対象の編集が局所的な介入によって達成できると仮定して、事実レベルの知識のために構築されている。 ルールレベルの知識編集の機械論的研究を通じて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-04-09T14:22:19Z)
• Beyond Single-Task: Robust Multi-Task Length Generalization for LLMs [23.958458849973248]
  マルチタスク設定における長さの一般化について検討し、ロバストなクロスタスク長の一般化を可能にする最初のフレームワークとしてメタルール追従ファインチューニング(Meta-RFFT)を提案する。 多数のタスクやインスタンスをトレーニングした後、我々のモデルは、最小限の微調整やワンショットプロンプトで、目に見えないタスクに対して驚くほどの長さの一般化能力を達成する。
  論文  参考訳（メタデータ） (2025-02-17T07:54:50Z)
• RuleArena: A Benchmark for Rule-Guided Reasoning with LLMs in Real-World Scenarios [58.90106984375913]
  RuleArenaは、大規模言語モデル(LLM)が推論において複雑な現実世界のルールに従う能力を評価するために設計された、新しくて挑戦的なベンチマークである。 航空会社の荷物手数料、NBA取引、税制の3つの実践的領域をカバーするルールアリーナは、複雑な自然言語命令を扱うのにLLMの習熟度を評価する。
  論文  参考訳（メタデータ） (2024-12-12T06:08:46Z)
• RNR: Teaching Large Language Models to Follow Roles and Rules [153.6596303205894]
  既存のIFT命令から多様な役割やルールを生成する自動データ生成パイプラインであるモデルを提案する。 このデータは、複雑なシステムプロンプトに従うモデルをトレーニングするために使用することができる。 我々のフレームワークは、大規模言語モデルにおける役割と規則に従う能力を大幅に改善します。
  論文  参考訳（メタデータ） (2024-09-10T06:07:32Z)
• Symbolic Working Memory Enhances Language Models for Complex Rule Application [87.34281749422756]
  大規模言語モデル(LLM)は、顕著な推論性能を示しているが、多段階の推論に苦慮している。 本稿では,外部ワーキングメモリを用いたLLMの拡張と,ルール適用のためのニューロシンボリックフレームワークを提案する。 当社のフレームワークは,LLMベースのルール実装とシンボリックルールグラウンディングを反復的に実施する。
  論文  参考訳（メタデータ） (2024-08-24T19:11:54Z)
• Can LLMs Follow Simple Rules? [28.73820874333199]
  ルール追従言語評価シナリオ(ルール追従言語評価シナリオ、RuLES)は、大規模言語モデルにおけるルール追従能力を測定するためのフレームワークである。 RuLESは14の単純なテキストシナリオで構成され、そこではモデルがユーザと対話しながら様々なルールに従うように指示される。 現在のほとんどのモデルは、単純なテストケースであっても、シナリオルールに従うのに苦労しています。
  論文  参考訳（メタデータ） (2023-11-06T08:50:29Z)
• ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning [107.61997887260056]
  そこで我々は,知識グラフ上の論理ルールをマイニングするための大規模言語モデルの力を解き放つ新しいフレームワークChatRuleを提案する。 具体的には、このフレームワークは、KGのセマンティック情報と構造情報の両方を活用するLLMベースのルールジェネレータで開始される。 生成されたルールを洗練させるために、ルールランキングモジュールは、既存のKGから事実を取り入れてルール品質を推定する。
  論文  参考訳（メタデータ） (2023-09-04T11:38:02Z)
• Building Rule Hierarchies for Efficient Logical Rule Learning from Knowledge Graphs [20.251630903853016]
  本稿では,ルール階層を用いて非プロミッシングルールを抽出する新しい手法を提案する。 HPMの応用は非プロムルールの除去に有効であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T16:33:30Z)
• Towards Learning Instantiated Logical Rules from Knowledge Graphs [20.251630903853016]
  本稿では,知識グラフから一階述語論理規則を抽出するために最適化された確率論的学習ルールGPFLを提案する。 GPFLは、抽出された経路を非循環的な抽象規則であるテンプレートに一般化する新しい2段階ルール生成機構を利用する。 オーバーフィッティングルールの存在、予測性能への影響、およびオーバーフィッティングルールをフィルタリングする単純なバリデーション手法の有効性を明らかにする。
  論文  参考訳（メタデータ） (2020-03-13T00:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。