論文の概要: RuleTrek: Benchmarking Agentic Rule Reasoning in Complex Scenarios

• arxiv url: http://arxiv.org/abs/2610.19698v1
• Date: Wed, 14 Oct 2026 07:23:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.001515
• Title: RuleTrek: Benchmarking Agentic Rule Reasoning in Complex Scenarios
• Title（参考訳）: RuleTrek: 複雑なシナリオにおけるエージェントルール推論のベンチマーク
• Abstract要約: 本稿では,複雑なシナリオにおけるエージェントルール推論のためのマルチドメインベンチマークであるtextbfRuleTrekを紹介する。 ルールグラウンド構築パイプラインは構造化されたルールグラフを抽出し、ルール固有のサブシナリオを生成し、漸進的に構成する。 RIとRDの最高スコアはそれぞれ62.47%と60.43%であり、E2Eのスコアは26.97%から55.29%である。
• 参考スコア（独自算出の注目度）: 23.054398928446506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) increasingly tackle complex real-world tasks in specialized domains. However, identifying and correctly applying domain-specific rules remains challenging when scenario information is distributed across multiple files. Existing rule-reasoning benchmarks typically represent scenarios using only a few factual statements, simplifying the identification and application of relevant rules. To address this gap, this paper introduces \textbf{RuleTrek}, a multi-domain benchmark for agentic rule reasoning in complex scenarios. Its rule-grounded construction pipeline extracts structured rule graphs, generates and incrementally composes rule-specific sub-scenarios while ensuring consistency and solvability. To systematically evaluate agentic rule reasoning in complex scenarios, RuleTrek assesses three capabilities in interactive workspaces: Rule Identification (RI), Rule Deduction (RD), and End-to-End Rule Reasoning (E2E). Experiments on 11 frontier LLMs show that the highest RI and RD scores are only 62.47\% and 60.43\%, respectively, while E2E scores range from 26.97\% to 55.29\%. These results demonstrate that current LLM agents face substantial challenges in rule reasoning over complex scenarios. We make our code and dataset publicly available at \href{https://github.com/yuan247/RuleTrek}{RuleTrek}.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、専門分野における複雑な現実世界のタスクに対処する傾向にある。 しかし、シナリオ情報が複数のファイルに分散している場合、ドメイン固有のルールを特定し、正しく適用することは依然として困難である。 既存のルール推論ベンチマークは、典型的には、いくつかの事実文のみを使用してシナリオを表現し、関連するルールの識別と適用を単純化する。 このギャップに対処するために、複雑なシナリオにおけるエージェントルール推論のためのマルチドメインベンチマークである \textbf{RuleTrek} を紹介する。 ルール基底構築パイプラインは、構造化されたルールグラフを抽出し、一貫性と可解性を確保しつつ、ルール固有のサブシナリオを生成し、漸進的に構成する。 複雑なシナリオにおけるエージェントルール推論を体系的に評価するために、Re RuleTrekは、対話型ワークスペースにおける3つの機能(ルール識別(RI)、ルール推論(RD)、エンドツーエンドルール推論(E2E))を評価する。 11のフロンティア LLM の実験では、RI と RD の最高スコアはそれぞれ 62.47\% と 60.43\% であり、E2E のスコアは 26.97\% から 55.29\% である。 これらの結果は,LLMエージェントが複雑なシナリオに対するルール推論において重大な課題に直面していることを示している。 コードとデータセットは、 \href{https://github.com/yuan247/RuleTrek}{RuleTrek}で公開しています。

関連論文リスト

• RuleWeaver: Benchmarking Rule-Centered Scenario Reasoning for Large Language Models [39.01774351778858]
  本稿ではルール中心のシナリオ推論を評価するためのベンチマーク構築フレームワークであるルールウィーバーを紹介する。 現在のモデルは依然として複雑なルール中心のシナリオ推論に苦戦しており、最高の性能のモデルでさえ、最大ルーリックスコアの50%程度しか達成できていない。
  論文  参考訳（メタデータ） (2026-08-27T09:05:11Z)
• Beyond Factual Knowledge: Benchmarking and Learning Step-Level Procedural Rule Reasoning in Large Language Models [33.61747923589224]
  大規模言語モデル(LLM)は、テキストの理解と生成に優れるが、大規模に提供される外部の手続き規則を確実に理解し適用することは困難である。 我々は、ルールをインスタンス固有の事実ではなく、グローバルに再利用可能な抽象単位として再構成する大規模なベンチマークであるルールワールドを紹介した。 我々は、与えられたルールをKVキャッシュに注入し、検索を内部で学習可能なステップワイズプロセスに変換するエンドツーエンドフレームワークDynaRuleを提案する。
  論文  参考訳（メタデータ） (2026-08-24T03:22:45Z)
• Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering [54.97384993676565]
  複雑な国内R&D規制から派生した運用知識グラフを特徴とする,新たなベンチマークであるRegOps-Benchを用いて,レギュレーションコンプライアンスQAを形式化する。 RefWalkはクロスドキュメントの引用を横切り、マックスベースのアグリゲーションを通じてマルチビュー候補を融合させ、ソースへのクレームを明示的にマッピングするためにルールごとの属性を強制する。
  論文  参考訳（メタデータ） (2026-05-28T10:38:38Z)
• Logic-Regularized Verifier Elicits Reasoning from LLMs [63.65875399266337]
  論理規則で正規化された教師なしの検証器であるLOVERを提案する。 ローバーは、定理を二項潜在変数として扱い、内部の活性化を活用し、3つの論理的制約を課す。 ローバーは教師なしのベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2026-05-07T09:03:49Z)
• RulePilot: An LLM-Powered Agent for Security Rule Generation [15.638534363355342]
  ルールベースの検出は、事前に定義された文法論理に基づいて悪意のあるログを識別することが多い。 本稿では, LLMをベースとしたエージェントを用いて, 人間の専門知識を模倣したルールパイロットを提案する。 RulePilotを使用すると、セキュリティアナリストは文法に従うルールを書き留める必要はなく、単にアノテーションを提供するだけである。
  論文  参考訳（メタデータ） (2025-11-15T13:59:16Z)
• RuleArena: A Benchmark for Rule-Guided Reasoning with LLMs in Real-World Scenarios [58.90106984375913]
  RuleArenaは、大規模言語モデル(LLM)が推論において複雑な現実世界のルールに従う能力を評価するために設計された、新しくて挑戦的なベンチマークである。 航空会社の荷物手数料、NBA取引、税制の3つの実践的領域をカバーするルールアリーナは、複雑な自然言語命令を扱うのにLLMの習熟度を評価する。
  論文  参考訳（メタデータ） (2024-12-12T06:08:46Z)
• Symbolic Working Memory Enhances Language Models for Complex Rule Application [87.34281749422756]
  大規模言語モデル(LLM)は、顕著な推論性能を示しているが、多段階の推論に苦慮している。 本稿では,外部ワーキングメモリを用いたLLMの拡張と,ルール適用のためのニューロシンボリックフレームワークを提案する。 当社のフレームワークは,LLMベースのルール実装とシンボリックルールグラウンディングを反復的に実施する。
  論文  参考訳（メタデータ） (2024-08-24T19:11:54Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• Building Rule Hierarchies for Efficient Logical Rule Learning from Knowledge Graphs [20.251630903853016]
  本稿では,ルール階層を用いて非プロミッシングルールを抽出する新しい手法を提案する。 HPMの応用は非プロムルールの除去に有効であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T16:33:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。