論文の概要: WORTH Benchmark: Evidence Discovery under Not-Fully-Cooperative Information -- A Two-Episode Pilot

• arxiv url: http://arxiv.org/abs/2610.27597v1
• Date: Tue, 20 Oct 2026 04:04:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.627683
• Title: WORTH Benchmark: Evidence Discovery under Not-Fully-Cooperative Information -- A Two-Episode Pilot
• Title（参考訳）: WORTH Benchmark: 完全な協力的情報に基づくエビデンス発見 - 双極小パイロット
• Abstract要約: 本論文はWORTH Benchmarkを提案する: モデルが手掛かりのアノテーションを使わずにオリジナルのミステリー物語を読み、キーキーの文を自律的に選択し、事例の参加者を特定し、それらの推論過程を説明する。 本報告では,2エピソードにわたるフルストーリー条件下でのパイロット実験について報告する。 結果は、手がかりヒットと受講者の判断が同期していないことを示している。
• 参考スコア（独自算出の注目度）: 10.071691304378065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing reasoning evaluations typically provide task-relevant information to models as available premises, rarely examining concurrently how models discover evidence autonomously and how information presentation within narratives guides or obscures judgment. This paper proposes the WORTH Benchmark: models read original mystery narratives without clue annotations, autonomously select key clue sentences, identify case participants, and explain their reasoning process. The narrative materials are designed by professional authors such that evidence facilitating reasoning coexists with narrative arrangements that delay the revelation of truth. We report a pilot experiment under full-story conditions across two episodes, conducting a total of 70 formal runs on models, of which 67 runs are content-scorable. Scoring separately records hits on author-designated key clue sentences and participant selections; natural language explanations are used for case diagnosis and are not scored independently. The results show that clue hits and participant judgments are not synchronized; across 37 content-scorable runs in Episode 02, 31 runs simultaneously selected the same set of incorrect participants, while adjacent suspicion-oriented and exoneration-oriented sentences were selected 25 times and 0 times, respectively. These phenomena illustrate the diagnostic value of component-wise analysis and suggest that not-fully-cooperative informational relationships may influence evidence selection and judgment. This study only implements full-story conditions for two episodes, and does not establish stable model rankings or infer general mechanisms on this basis; human player records have not yet been cleaned, and this version does not report human-model comparisons.
• Abstract（参考訳）: 既存の推論評価は、一般的に利用可能な前提としてモデルにタスク関連情報を提供し、モデルが自律的にエビデンスを発見する方法と、物語内の情報提示が判断をガイドしたり、曖昧にしたりする方法とを同時に検討することは滅多にない。 本論文はWORTH Benchmarkを提案する: モデルが手掛かりのアノテーションを使わずにオリジナルのミステリー物語を読み、キーキーの文を自律的に選択し、事例の参加者を特定し、それらの推論過程を説明する。 物語資料は、真理の啓発を遅らせる物語の編み物と共存する推論を促進する証拠など、プロの作家によってデザインされている。 本報告では,2エピソードにわたるフルストーリー環境下でのパイロット実験について報告する。 スコア付けは、著者が指定したキーワード文と受取者選択を個別に記録する; 自然言語の説明はケース診断に使用され、独立にスコア付けされない。 その結果,第02話の37回中,31回は同一の不正な参加者を同時に選別し,25回と0回は隣接した疑念指向文と排他指向文がそれぞれ選択された。 これらの現象は、成分分析の診断価値を示し、非協調的な情報関係が証拠選択と判断に影響を及ぼす可能性があることを示唆している。 本研究は,2エピソードのフルストーリー条件のみを実装し,安定なモデルランキングや一般的なメカニズムを定めていない。

関連論文リスト

• Bengali Hallucination Detection with Retrieval and Programs: A System Study [0.0]
  ベンガルの幻覚は、しばしば供給された参照パスなしで、事実的主張と誤った推論を区別しなければならない。 本稿では,応答条件付きクエリ書き換え,ハイブリッド検索,タスク固有言語モデル判定を組み合わせた推論のみのシステムを提案する。 我々は,バージョン固有のコード,保存された予測,実行トレース,Olikbochonチャレンジからのコーパスメタデータを用いて,システムの特徴付けを行う。
  論文  参考訳（メタデータ） (2026-10-16T03:46:27Z)
• Evidence First, Arithmetic Second: A System Report and Failure Analysis for DocSem [0.8594140167290097]
  EVICALCはPDFを読み、パスを選択し、言語モデルに算術式を書き、その式をローカルコードで評価する。 公開検証の結果、92.17%の回答精度と1.00の証拠F1が得られた。
  論文  参考訳（メタデータ） (2026-09-30T05:20:54Z)
• DISCERN: Can AI Agents Work Like Scientists and Guide Discovery? [54.755189648365565]
  私たちは、自動研究ワークフローの3つの重要なレベルを評価するために、実際に利用可能なデータセットのベンチマークであるdisCERNを紹介します。 エージェントはレベル1の60.8%、レベル2の34.2%、レベル3の評価の0.6%で完璧なスコアを得る。 これらのプロファイルは、科学的な援助を監督する機会を特定するが、現在のエージェントは信頼できる自律的な分析や発見をまだ示していない。
  論文  参考訳（メタデータ） (2026-09-27T08:29:32Z)
• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• Evaluation Cards: An Interpretive Layer for AI Evaluation Reporting [44.70980205167796]
  AI評価結果は大規模に作成されるが、リーダーボード、モデルカード、ベンチマーク論文、会社のブログ間で矛盾なく報告されている。 最近の取り組みでは、分離されたコンポーネントに対処するが、3つのギャップを残している: それらは評価ライフサイクルの狭いスライスのみをカバーし、単一の解釈可能なレコードに構成しない。 EvalCardsは、ベンチマークメタデータ、評価実行データ、モデルメタデータを統一されたレコードに構成する運用レポート層である。
  論文  参考訳（メタデータ） (2026-06-08T17:55:02Z)
• When Consistency Becomes Bias: Interviewer Effects in Semi-Structured Clinical Interviews [40.15765126212381]
  我々は3つのデータセット、ANDROIDS、DAIC-WOZ、E-DAICを分析した。 半構造化インタビューにおけるインタビュアープロンプトからの体系的バイアスを同定する。 本研究は, クロスデータセット, アーキテクチャ非依存のバイアスに着目し, 時間と話者による決定証拠のローカライズを行う分析の必要性を強調した。
  論文  参考訳（メタデータ） (2026-03-25T17:55:00Z)
• Nested Counterfactual Identification from Arbitrary Surrogate Experiments [95.48089725859298]
  観測と実験の任意の組み合わせからネスト反事実の同定について検討した。 具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
  論文  参考訳（メタデータ） (2021-07-07T12:51:04Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)
• Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
  本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。 我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
  論文  参考訳（メタデータ） (2020-10-26T21:34:39Z)
• Why do you think that? Exploring Faithful Sentence-Level Rationales Without Supervision [60.62434362997016]
  文レベルで忠実な論理を出力するモデルを作成するために,異なる訓練枠組みを提案する。 本モデルでは,各理性に基づいて各課題を個別に解決し,その課題を最もよく解決した者に高いスコアを割り当てることを学ぶ。
  論文  参考訳（メタデータ） (2020-10-07T12:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。