論文の概要: RGDT-Bench: Benchmarking LLM Reasoning for Rule-Governed Decisions and Their Justifications

• arxiv url: http://arxiv.org/abs/2609.34455v1
• Date: Mon, 28 Sep 2026 07:13:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 13:27:11.59858
• Title: RGDT-Bench: Benchmarking LLM Reasoning for Rule-Governed Decisions and Their Justifications
• Title（参考訳）: RGDT-Bench:ルール統治決定のためのLLM推論のベンチマークとその正当性
• Abstract要約: ルール統治決定タスク(RGDT)における推論に関する研究 RGDTは、規則とその適用可能性の解釈、証拠からの条件の評価、規則と例外に基づく判断の組み合わせ、そしてチェック可能な正当化の提供を必要とする。 RGDT-Benchを導入し、4つのタスクトラックと8つのタスク-プローブの組み合わせで202.1Kの条件レベルの監視スロットを提供する。
• 参考スコア（独自算出の注目度）: 26.65087797852919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study reasoning in Rule-Governed Decision Tasks (RGDTs), where models apply external rules to case facts and justify decisions, as required in policy, contract, and compliance settings. Beyond the deductive capability emphasized by standard mathematical and logical reasoning tasks, RGDTs require interpreting rules and their applicability, assessing conditions from evidence, combining judgments under rules and exceptions, and providing checkable justifications. These demands motivate a benchmark assessing both decisions and their stated grounds. We introduce RGDT-Bench, providing 202.1K condition-level supervision slots across four task tracks and eight supported task-probe combinations that vary access to supporting information. Label-blind extraction and deterministic checks produce labels for warrant completeness: source-referenced coverage and consistency of stated decision grounds. The benchmark attributes failures to four process layers: rule use, condition, evidence, and aggregation, and checks the final outcome. Among evaluable correct responses, warrant incompleteness averages 40.2% across six evaluated LLMs and supported task-probe combinations. Such warrant incompleteness poses potential safety risks and remains difficult to detect: the best of seventeen existing evaluators reaches only 57.69% (random: 50%) task-averaged area under the receiver operating characteristic curve (AUROC). To address this difficulty, we train a simple reward model with warrant supervision. It achieves 69.24% task-averaged AUROC among correct answers, exceeding the matched outcome-supervised baseline by 10.37 pp (percentage points) and the best existing evaluator by 11.55 pp. Beyond completeness assessment, the model outperforms both outcome-supervised baselines across nearly all response-selection comparisons, supporting RGDT-Bench's warrant supervision for RGDT reasoning.
• Abstract（参考訳）: ルール管理決定タスク(RGDT)では、モデルが事実のケースに外部ルールを適用し、ポリシー、契約、コンプライアンス設定で要求される決定を正当化する。 RGDTは、標準的な数学的および論理的推論タスクによって強調される誘引的能力の他に、規則とその適用可能性の解釈、証拠からの条件の評価、規則と例外による判断の組み合わせ、そして検証可能な正当性の提供を必要としている。 これらの要求は、決定と表明された根拠の両方を評価するベンチマークを動機付けます。 RGDT-Benchを導入し、4つのタスクトラックに202.1Kの条件レベルの監視スロットと、サポート情報へのアクセスの異なる8つのタスク-プローブの組み合わせを提供する。 ラベルブレンド抽出と決定論的チェックは、ソース参照のカバレッジと、宣言された決定根拠の一貫性の保証完全性を示すラベルを生成する。 ベンチマークは、失敗を4つのプロセスレイヤ(ルールの使用、条件、エビデンス、アグリゲーション)に分類し、最終的な結果をチェックする。 評価可能な正しい応答の中で、保証の不完全性は、評価された6つのLCMとサポートされたタスク-プローブの組み合わせで平均40.2%である。 このような保証の不完全性は潜在的な安全性のリスクをもたらし、検出しづらい。17の既存の評価対象のうち最高のものは、受信機操作特性曲線(AUROC)の下では、57.69%(ランダム:50%)のタスク平均領域にしか達しない。 この課題に対処するため、我々は令状監督を伴う簡単な報酬モデルを訓練する。 69.24%のタスク平均AUROCを正解として、10.37pp(パーセント)、11.55pp(最高の既存評価器)を上回っている。 RGDT-BenchによるRGDT推論の保証監督を支援するため、完全性評価以外にも、ほぼ全ての応答選択比較において結果教師付きベースラインよりも優れている。

関連論文リスト

• Grounded Normative Rule Generation with Structured Search [47.28595196084396]
  基底ノルム規則合成(GNRS)として問題を定式化する。 GNRS-SearchはMarkov Chain Monte Carlo(MCMC)サンプリングを利用して、離散5スロットアンドオーグラフ(AOG)を最適化するフレームワークである。 GNRS-Benchは8つのシーンにまたがる116の制御目標にまたがるベンチマークであり、RealCharterBenchは53のリアルなポリシータスクに隠れたソース節で遷移を評価する。
  論文  参考訳（メタデータ） (2026-08-23T05:43:42Z)
• EnterpriseRAG: Benchmarking LLM Instruction Adherence and Robustness under Non-Ideal Enterprise Retrieval [41.53357936032648]
  既存のベンチマークでは、単純なクエリでクリーンな検索を前提としており、ノイズの多いドキュメントと多次元制約が共存する生産条件をキャプチャできない。 6つのドメインにわたる983のエキスパート検証サンプルのベンチマークであるEnterpriseRAGを紹介します。 ベンチマークと評価のフレームワークを公開していきます。
  論文  参考訳（メタデータ） (2026-08-12T02:51:04Z)
• DEMM-Bench: A Cross-Regime Benchmark for Agent-Runtime Governance-Evidence Sufficiency [0.0]
  DEMM-Benchはエージェント・ランタイム・ガバナンス・エビデンス・サフィシデンスのためのクロスレジーム・ベンチマークである。 8つの証拠制度にまたがる記録が、決定レベルの資産を再構築するのに十分かどうかを測定する。
  論文  参考訳（メタデータ） (2026-05-30T09:36:29Z)
• Who judges the judges? Governance from metrics: a runtime framework for continuous LLM compliance monitoring [0.0]
  AIコンプライアンスに対する現在のアプローチは、適合性をバイナリな監査時間判定として扱う。 このコンプライアンス・フィクションは、EUのAI法の要件に構造的に不適合である、と我々は主張する。 規制の遵守は、行動の可観測性から連続的なシグナルとして導き出される原則であるメトリクスからのガバナンスを導入します。
  論文  参考訳（メタデータ） (2026-05-23T21:21:33Z)
• Metacognition as Reward: Reinforcing LLM Reasoning via Knowledge and Regulation Signals [75.25256166997414]
  本稿ではメタ認知に触発されたRLフレームワークであるメタ認知・アズ・リワード(MaR)を紹介する。 MaRは2つの一般的なプロセス次元を推論する。 MaRはモデル性能を継続的に改善し、ベースモデルよりも最大7.7%向上した。
  論文  参考訳（メタデータ） (2026-05-22T08:54:37Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
  ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。 決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。 NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T18:52:01Z)
• DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality [49.62610727661819]
  既存のファクトチェッカーは主に汎用ドメイン、ファクトイドスタイルの原子クレーム用に設計されている。 本稿では,ベンチマークラベルと有理値が明示的に変更可能なAudit-then-Score (AtS)を提案する。 我々は、AtSを、監査可能な有理量を持つDRR事実性ベンチマークであるDeepFact-Benchとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-03-06T05:05:57Z)
• Replayable Financial Agents: A Determinism-Faithfulness Assurance Harness for Tool-Using LLM Agents [0.7699235580548228]
  LLMエージェントは、規制監査のリプレイに苦労する: トランザクションフラグ付き決定を同じ入力で再現するように要求された場合、ほとんどのデプロイメントは一貫性のある結果を返すことができません。 本稿では,金融サービスに展開するツール利用エージェントにおけるトラジェクティブ決定性およびエビデンス条件の忠実度を測定するためのフレームワークであるDFAHを紹介する。
  論文  参考訳（メタデータ） (2026-01-17T19:47:55Z)
• DrawingBench: Evaluating Spatial Reasoning and UI Interaction Capabilities of Large Language Models through Mouse-Based Drawing Tasks [10.977990951788422]
  DrawingBenchはエージェントLLMの信頼性を評価するための検証フレームワークである。 我々のフレームワークは、20のカテゴリに250の多様なプロンプトと4つの難易度から構成されている。 我々は1000回の試験で4つの最先端LCMを評価した。
  論文  参考訳（メタデータ） (2025-12-01T01:18:21Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。