論文の概要: Reference-Free Evaluation of Reasoning in Open-Ended Question Answering

• arxiv url: http://arxiv.org/abs/2607.19678v1
• Date: Wed, 22 Jul 2026 02:27:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.949763
• Title: Reference-Free Evaluation of Reasoning in Open-Ended Question Answering
• Title（参考訳）: オープンエンド質問応答における推論の基準自由評価
• Abstract要約: LLM出力を監査するための推論に基づく参照フリーフレームワークを提案する。 決定論的逆向きのAND-OR探索は、各セグメントがどのように接地されているかを示すセグメントレベルの監査ラベルを割り当てる。 我々は,Hard2Verifyを用いた数学的推論と,UroReasonを用いたオープンエンド医療推論の2つの設定でフレームワークを評価した。
• 参考スコア（独自算出の注目度）: 18.065314871203736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI-generated answers in high-stakes domains are often fluent but difficult to verify, especially when they contain multi-step reasoning rather than a single final answer. We propose a reasoning-based, reference-free framework for auditing LLM-generated outputs. The method decomposes a generated reasoning trace into segments, labels local premise-target relations using Natural Language Inference (NLI), and organizes these relations into a hypergraph. A deterministic backward AND-OR search then assigns segment-level audit labels that indicate how each segment is grounded within the generated response. We evaluate the framework in two settings: deductive mathematical reasoning with Hard2Verify, and open-ended medical reasoning with UroReason, a new physician-annotated benchmark of LLM reasoning traces from real clinical cases. Across these settings, our NLI-hypergraph audit provides a more reliable reference-free evaluation signal than direct LLM-as-judge baselines. In the clinical setting, state-of-the-art LLM judges often fail to identify problematic reasoning segments, over-accepting fluent but weakly grounded responses. Our results show that QA evaluation should account for how inferential relations compose across a reasoning trace, rather than relying only on final answers or LLMs as verifiers. UroReason will be made available through an API, and our code will be released as open source.
• Abstract（参考訳）: ハイテイクドメインにおけるAI生成の回答は、多くの場合、流動的だが検証が難しい。 LLM出力を監査するための推論に基づく参照フリーフレームワークを提案する。 本手法は,生成した推論トレースをセグメントに分解し,自然言語推論(NLI)を用いて局所前提-対象関係をラベル付けし,これらの関係をハイパーグラフに整理する。 決定論的逆向きのAND-OR探索は、生成された応答内で各セグメントがどのようにグラウンド化されているかを示すセグメントレベルの監査ラベルを割り当てる。 我々は,この枠組みを,Hard2Verifyを用いた帰納的数学的推論(deductive mathematical reasoning)とUroReasonによるオープンエンド医療推論(open-ended medical reasoning)の2つの設定で評価した。 これらの設定全体にわたって、NLI-ハイパーグラフ監査は、直接LLM-as-judgeベースラインよりも信頼性の高い参照なし評価信号を提供する。 臨床環境では、最先端のLLM判事は、しばしば問題のある推論セグメントを特定できず、過度に流れるが、弱く根拠づけられた反応を受容する。 以上の結果から,QA 評価は,最終回答や LLM を検証対象としてのみ依存するのではなく,推論的関係が推理的トレースをどう構成するかを考慮すべきであることが示された。 UroReasonはAPIを通じて利用でき、私たちのコードはオープンソースとしてリリースされます。

関連論文リスト

• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• Logic-Regularized Verifier Elicits Reasoning from LLMs [63.65875399266337]
  論理規則で正規化された教師なしの検証器であるLOVERを提案する。 ローバーは、定理を二項潜在変数として扱い、内部の活性化を活用し、3つの論理的制約を課す。 ローバーは教師なしのベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2026-05-07T09:03:49Z)
• OrLog: Resolving Complex Queries with LLMs and Probabilistic Reasoning [51.58235452818926]
  そこで我々は,論理的推論から述語レベルの妥当性推定を分離するニューロシンボリック検索フレームワークOrLogを紹介する。 大規模言語モデル (LLM) は1つの復号のない前方通過において原子述語に対する可視性スコアを提供し、確率論的推論エンジンはクエリ満足度の後方確率を導出する。
  論文  参考訳（メタデータ） (2026-01-30T15:31:58Z)
• Uncovering Hidden Correctness in LLM Causal Reasoning via Symbolic Verification [56.51953062869371]
  DoVerifier は、因果表現が与えられた因果グラフから導出可能であるかどうかをdo-calculus と probability theory の規則を用いてチェックする記号検証器である。 因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果
  論文  参考訳（メタデータ） (2026-01-29T03:22:58Z)
• Demo: Statistically Significant Results On Biases and Errors of LLMs Do Not Guarantee Generalizable Results [10.858989372235657]
  本研究では,複数のLCM-as-a-judgeセットアップとプロンプトを用いて,これらのクエリに対する応答を評価する。 基礎研究として,LLM間の合意と回答および評価LLMの変化の影響について,2つの事例研究を行った。
  論文  参考訳（メタデータ） (2025-11-04T04:20:33Z)
• Causal Prompting for Implicit Sentiment Analysis with Large Language Models [21.39152516811571]
  Implicit Sentiment Analysis (ISA) は、明示的に述べられるのではなく、示唆される感情を推測することを目的としている。 近年,Large Language Models (LLMs) を用いたプロンプトベースの手法がISAで実現されている。 我々は,CoT推論に正面調整を組み込んだ因果的プロンプトフレームワークであるCAPITALを提案する。
  論文  参考訳（メタデータ） (2025-07-01T03:01:09Z)
• Ice Cream Doesn't Cause Drowning: Benchmarking LLMs Against Statistical Pitfalls in Causal Inference [16.706959860667133]
  大規模言語モデル(LLM)が厳密で信頼性の高い統計的因果推論を扱えるかどうかは不明である。 CausalPitfallsベンチマークは、信頼できる因果推論システムの開発を進めるための重要なガイダンスと定量的指標を提供する。
  論文  参考訳（メタデータ） (2025-05-19T23:06:00Z)
• Investigating the Shortcomings of LLMs in Step-by-Step Legal Reasoning [34.427730009102966]
  推論誤りを特定し,LLMの性能を評価するための自動評価フレームワークを開発した。 我々の研究は、論理集約的な複雑なタスクに対する推論チェーンの詳細なエラー解析に使用できる評価フレームワークとしても機能する。
  論文  参考訳（メタデータ） (2025-02-08T19:49:32Z)
• Neuro-Symbolic Integration Brings Causal and Reliable Reasoning Proofs [95.07757789781213]
  LLMの複雑な推論には2行のアプローチが採用されている。 1行の作業は様々な推論構造を持つLLMを誘導し、構造出力は自然に中間推論ステップと見なすことができる。 他方の行では、LCMのない宣言的解法を用いて推論処理を行い、推論精度は向上するが、解法のブラックボックスの性質により解釈性に欠ける。 具体的には,Prologインタプリタが生成した中間検索ログにアクセスし,人間可読推論に解釈可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-16T11:26:21Z)
• Sentiment Analysis through LLM Negotiations [58.67939611291001]
  感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。 本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-03T12:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。