論文の概要: CalBrief: A Pilot Diagnostic Benchmark for Evidence-Calibrated Scientific Briefing with Large Language Models

• arxiv url: http://arxiv.org/abs/2606.27383v1
• Date: Thu, 11 Jun 2026 06:49:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-05 17:01:29.580278
• Title: CalBrief: A Pilot Diagnostic Benchmark for Evidence-Calibrated Scientific Briefing with Large Language Models
• Title（参考訳）: CalBrief: 大規模言語モデルを用いたエビデンス校正科学ブリーフィングのためのパイロット診断ベンチマーク
• Abstract要約: 大規模言語モデル (LLMs) は研究助手としての利用が増えているが, 支持する証拠の強さと範囲について, 研究成果を校正できるかどうかは不明である。 我々は,エビデンスを校正した科学的ブリーフィングについて検討する: 関連論文の束縛されたパッケージを考えると,システムはエビデンス強度,スコープ境界,欠落したエビデンス注意点を備えたパッケージレベルのテイクアウトを生成するべきである。 私たちは、ブリーフィングが故障した場所を特定するための診断プローブとして、監査可能なロール/ギャップ/強度フレームワークであるCalBriefを使用します。
• 参考スコア（独自算出の注目度）: 8.057966659934769
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used as research assistants, yet it remains unclear whether they can calibrate research takeaways to the strength and scope of the supporting evidence. We study evidence-calibrated scientific briefing: given a bounded package of related papers, a system should generate package-level takeaways with evidence strength, scope boundaries, and missing-evidence caveats. We contribute a verified pilot benchmark of 16 heterogeneous scientific evidence packages and 96 human-verified takeaways, and we use CalBrief, an auditable role/gap/strength framework, as a diagnostic probe to locate where briefing breaks down. Under a fair-schema evaluation, structured organization improves role and gap reasoning, but an explicit strength-calibration policy is systematically over-conservative and falls below majority and direct-LLM baselines. To explain why, we run a controlled diagnostic across three closed-model backbones (GPT-4o, Claude Sonnet, Gemini Flash) that separates three potential causes of conservatism. Approximately 63% of the conservatism gap is attributable to expanding the label space from binary {moderate, weak} to four-way {moderate, weak, uncertain, insufficient_evidence} (p < 0.001 across all backbones); only 1% is attributable to gap/scope signal injection (not significant); the remaining 36% arises from the pipeline policy itself. We also find that 4-way predictions can be post-hoc collapsed back to binary and then match or exceed direct binary prompting, so the extra labels carry information that strict matching hides. Label-level strength judgment and auditable evidence organization are distinct abilities currently in tension, and should be evaluated separately for LLM research assistants.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は研究助手としての利用が増えているが, 支持する証拠の強さと範囲について, 研究成果を校正できるかどうかは不明である。 我々は,エビデンスを校正した科学的ブリーフィングについて検討する: 関連論文の束縛されたパッケージを考えると,システムはエビデンス強度,スコープ境界,欠落したエビデンス注意点を備えたパッケージレベルのテイクアウトを生成するべきである。 16の異質な科学的証拠パッケージと96の人間による検証済みテイクアウトの検証試験ベンチマークに貢献し、ブリーフィングの故障箇所を特定するための診断プローブとして、監査可能なロール/ギャップ/ストロングスフレームワークであるCalBriefを用いた。 公正な評価の下では、構造化された組織は役割とギャップの推論を改善するが、明示的な強度校正政策は体系的に過保守であり、多数派と直接LLMベースラインを下回る。 理由を説明するために、3つの閉モデルバックボーン(GPT-4o, Claude Sonnet, Gemini Flash)で制御された診断を行い、保守主義の3つの潜在的な原因を分離する。 保存性ギャップの約63%は、ラベル空間を二進数 {moderate, weak} から四進数 {moderate, weak, uncertain, enough_evidence} (すべてのバックボーンでp < 0.001) に拡張することに起因する。 また、4方向予測は2進法に逆戻りし、直接二進法のプロンプトにマッチまたは超過する可能性があるため、余分なラベルには厳密なマッチングが隠される情報がある。 ラベルレベルの強度判定と監査可能なエビデンス組織は、現在緊張状態にある別個の能力であり、LLM研究助手に対して個別に評価されるべきである。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• DiagLoop: A Counterfactual Data Flywheel with Stage-Localized Reinforcement for Diagnostic LLMs [5.241146164724621]
  DiagLoopは、認知された物理的関係や臨床ガイドラインをトレーニングの監督に変換する、反ファクト的なデータフライホイールである。 訓練のみの教師は様々な原因、文脈、観察によって反現実の世界を提案し、一方独立したハイブリッドチェッカーは有効な世界しか認めない。 非終端障害に対しては、境界付き修復プローブが下流のコンピテンスを探索し、その結果の弱点プロファイルがその後のデータ生成を導く。
  論文  参考訳（メタデータ） (2026-08-04T13:49:41Z)
• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
  本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。 本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
  論文  参考訳（メタデータ） (2026-07-07T03:20:52Z)
• One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
  我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。 その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。 12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
  論文  参考訳（メタデータ） (2026-06-30T10:54:16Z)
• MedHal-Loc: Are "Explainable-by-Architecture" Medical Hallucination Detectors Faithful Localizers? A Localization Benchmark [3.738942365298833]
  MedHal-Locは、局所化忠実度のためのベンチマークとメトリクスである。 NLI-per-clause, consistency-per-sentence, and the dedicated span detector FAVA are all localize of chance。
  論文  参考訳（メタデータ） (2026-06-19T15:11:37Z)
• Diagnosing Evidence Utilization in Long-Context and Retrieval-Augmented Language Models under Matched Evidence Conditions [0.0]
  モデルはパラメトリックの先行情報から回答したり、存在する証拠を使わなかったり、関連するテキストを最終回答に変換することなく引用したりすることができる。 本稿では,エビデンス利用評価のための4条件診断プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-06-04T22:44:57Z)
• What Makes a Medical Checker Trainable? Diagnosing Signal Collapse and Reward Hacking in Checker-Guided RAG for Biomedical QA [6.163604976615509]
  医療RAGはエビデンスベースのクレームを必要とするため、クレームレベルのNLIチェッカーを検索強化されたRLに接続するのは直感的である。 NLIチェッカーのバックエンドをGRPO訓練医療RAGエージェント内のプロセス報酬として比較した。
  論文  参考訳（メタデータ） (2026-05-25T16:06:06Z)
• AuthTrace: Diagnosing Evidence Construction in Thematically Dense Single-Author Corpora [6.956097396264084]
  AuthTraceは,主題的に密集した単一著者コーパスに基づいて構築された診断ベンチマークである。 AuthTraceは明示的な引用されたエビデンス、正確なファンインアノテーション、エビデンスリコール、エビデンス精度、答えの正当性を測定する統一パックレベルのプロトコルを提供する。
  論文  参考訳（メタデータ） (2026-05-25T03:10:52Z)
• Facet-Level Tracing of Evidence Uncertainty and Hallucination in RAG [8.18791900871137]
  Retrieval-Augmented Generationは、検索された証拠の回答を根拠にして幻覚を減らすことを目的としている。 既存の評価は回答レベルの精度や通過レベルの正確さに重点を置いており、世代間の証拠の使用方法に関する限られた洞察を与えている。 本稿では、各入力質問を原子推論ファセットに分解するQAのためのファセットレベル診断フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-10T09:59:43Z)
• Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
  既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。 GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。 我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
  論文  参考訳（メタデータ） (2026-03-03T09:36:43Z)
• CausalT5K: Diagnosing and Informing Refusal for Trustworthy Causal Reasoning of Skepticism, Sycophancy, Detection-Correction, and Rung Collapse [1.4608214000864057]
  CausalT5Kは10ドメインにわたる5000以上のケースの診断ベンチマークである。 合成ベンチマークとは異なり、CausalT5Kはリアルな物語に因果トラップを埋め込んでいる。 予備的な実験では、静的監査ポリシーが普遍的に失敗する4段階のコントロールランドスケープが示される。
  論文  参考訳（メタデータ） (2026-02-09T17:36:56Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• HypoSpace: Evaluating LLM Creativity as Set-Valued Hypothesis Generators under Underdetermination [46.896452542901805]
  有限仮説集合のサンプルとして LLM を扱う診断スイートである hypoSpace を紹介する。 我々は、決定論的検証器と正確に列挙された仮説空間を持つ3つの構造化された領域において、HypoSpaceをインスタンス化する。 命令調整と推論に焦点を当てたモデル全体では、検証性はしばしば高く保たれ、ユニキネスとリカバリは許容空間が大きくなるにつれて劣化する。
  論文  参考訳（メタデータ） (2025-10-17T13:00:32Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Deep Omni-supervised Learning for Rib Fracture Detection from Chest Radiology Images [41.62893318123283]
  ディープラーニング(DL)に基づくリブ骨折検出は、死亡を予防し、患者の予後を改善する上で重要な役割を担っている。 DLベースのオブジェクト検出モデルは、大量のバウンディングボックスアノテーションを必要とします。 医用データの注釈付けは時間がかかり専門知識が要求されるため、大量の細かい注釈を得られることは極めて不可能である。 我々は,ORF-Netv2という新しいオブジェクト検出ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-06-23T05:36:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。