論文の概要: Deogen: Automatic Benchmark Generation for Reasoning over Policies

• arxiv url: http://arxiv.org/abs/2610.38687v1
• Date: Wed, 28 Oct 2026 18:56:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.400942
• Title: Deogen: Automatic Benchmark Generation for Reasoning over Policies
• Title（参考訳）: Deogen: ポリシーに対する推論のためのベンチマーク自動生成
• Abstract要約: DeoGenは、デオン推論のためのスケーラブルで自動的でパラメタライザブルなベンチマークジェネレータである。 ポリシールールを一階述語論理に自動変換することで、可能な結果の軌跡を捉える決定木を構築することができる。
• 参考スコア（独自算出の注目度）: 2.8305308818981683
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Language models are increasingly being deployed in regulated settings, where a model must apply given rules to the facts of a situation to determine a verdict. Benchmarking this capability, known as deontic reasoning, remains a costly and manual process, with existing datasets largely hand-crafted. In this paper, we present DeoGen, a scalable, automatic, and parametrizable benchmark generator for deontic reasoning. By autoformalizing policy rules to first-order logic, we can construct decision trees that capture possible outcome trajectories. Each path down a tree becomes a benchmark entry, with each tree producing combinatorially many entries relative to tree depth. Paths ending at a leaf entail a verdict, while non-leaf paths measure a model's ability to abstain when presented with insufficient information. Evaluations show frontier models return the correct verdict 89-92% of the time. Notably, performance degrades (22-40% correct) on entries without sufficient information to claim a verdict, even with explicit instructions to abstain in such cases. In all, DeoGen presents an automatic, scalable, and parametric method for generating deontic reasoning benchmarks.
• Abstract（参考訳）: 言語モデルは、規制された設定でますますデプロイされ、モデルが判断する状況の事実に所定のルールを適用する必要がある。 この機能のベンチマークは、deontic reasoningとして知られているが、既存のデータセットが主に手作業で作成されるため、コストがかかる手作業のプロセスである。 本稿では、デオン推論のためのスケーラブルで自動的でパラメタライザブルなベンチマークジェネレータであるDeoGenについて述べる。 ポリシールールを一階述語論理に自動変換することで、結果の軌跡を捉える決定木を構築することができる。 木を下る各パスはベンチマークエントリとなり、各ツリーは木の深さに対して組合せ的に多くのエントリを生成する。 葉っぱで終わるパスは評決を伴い、非リーフパスは、不十分な情報で提示された場合のモデルの棄権能力を測定する。 評価の結果、フロンティアモデルは正解率89-92%を返却している。 特に、パフォーマンスは、検証を主張するのに十分な情報を持たないエントリ(22-40%の正確さ)で劣化する。 全体として、DeoGenはデオン推論ベンチマークを生成する自動的、スケーラブルでパラメトリックな方法を提示している。

関連論文リスト

• Generating Workflow DAGs from Natural Language with Non-Reasoning LLMs [0.08537603362277842]
  ニューロシンボリックな分解により、より低コストで非合理的な大規模言語モデルにより複雑なワークフローDAGを生成することができることを示す。 本手法は,判定精度を24ポイント向上し,推論モデルのアウト・オブ・ザ・ボックス品質に対する統計的等価性を実現する。
  論文  参考訳（メタデータ） (2026-08-31T05:01:29Z)
• Is Code Better Than Language for Algorithmic Reasoning [58.86873062890482]
  ツール拡張言語モデルでは、中間表現と実行機構の両方を変えるため、自然言語推論とコード実行パイプラインを比較することは困難である。 モデルは、その推論を実行可能なコードとして表現し、言語モデルは、そのコードを文脈でシミュレートして、回答を生成する。 中間介入は自然言語の推論と有意に異なるものではない(+0.15pp)。
  論文  参考訳（メタデータ） (2026-06-14T04:17:21Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• Beyond Accuracy: Introducing a Symbolic-Mechanistic Approach to Interpretable Evaluation [8.169425244574203]
  タスク関連シンボリックルールと解釈可能性を組み合わせたメカニズム認識評価について論じる。 標準的な評価では、暗記は見えないデータに対して94%のフィールド名精度を達成し、誤った能力を示している。 我々のシンボリック・スティック評価は、このモデルがコアスキーマの一般化ルールに違反していることを明らかにしている。
  論文  参考訳（メタデータ） (2026-03-06T03:50:59Z)
• interwhen: A Generalizable Framework for Verifiable Reasoning with Test-time Monitors [47.363850513075356]
  実験時間検証フレームワークであるInterwhenを提案し, 与えられた検証結果に対して, 推論モデルの出力が有効であることを保証する。 検証された推論は、物理的な世界にエージェントを配置するといった高度なシナリオにおいて重要な目標である。
  論文  参考訳（メタデータ） (2026-02-05T08:35:01Z)
• Generalized Tree Edit Distance (GTED): A Faithful Evaluation Metric for Statement Autoformalization [11.26658223467498]
  GTEDは形式文を標準化し、それらを演算木に変換する評価フレームワークである。 名前付き GTED 計量を用いて意味的類似性を決定する。 GTEDは一貫して最高性能の指標であり、MiniF2FではKappa、ProofNetでは最大精度でKappaを達成している。
  論文  参考訳（メタデータ） (2025-07-10T03:34:58Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• Entailment Tree Explanations via Iterative Retrieval-Generation Reasoner [56.08919422452905]
  我々はIRGR(Iterative Retrieval-Generation Reasoner)と呼ばれるアーキテクチャを提案する。 本モデルでは,テキストの前提からステップバイステップの説明を体系的に生成することにより,与えられた仮説を説明することができる。 前提条件の検索と細分化木の生成に関する既存のベンチマークを上回り、全体の正しさはおよそ300%向上した。
  論文  参考訳（メタデータ） (2022-05-18T21:52:11Z)
• Optimal randomized classification trees [0.0]
  分類と回帰木(英: Classification and Regression Trees、CART)は、現代の統計学と機械学習における既成の技術である。 CARTはgreedyプロシージャによって構築され、分割予測変数と関連するしきい値を逐次決定する。 この強欲なアプローチは、木を非常に高速に木に分類するが、その性質上、それらの分類精度は他の最先端の手順と競合しないかもしれない。
  論文  参考訳（メタデータ） (2021-10-19T11:41:12Z)
• Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning [66.01622034708319]
  我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。 我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。 次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。