論文の概要: Leveraging a four-quadrant approach for evaluating Redpine Science
- arxiv url: http://arxiv.org/abs/2610.07937v1
- Date: Tue, 06 Oct 2026 08:11:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.884295
- Title: Leveraging a four-quadrant approach for evaluating Redpine Science
- Title（参考訳）: Redpine Science評価のための4つのクワッドラントアプローチの活用
- Abstract要約: Redpine Scienceは、モデルとエージェントにピアレビューされた幅広い文献への単一のアクセスポイントを与える。
本報告では、検索したチャンクの関連性と、Web検索と比較してRedpine Scienceにアクセスした際のモデル回答の2つのレベルについて、Redpine Scienceを評価した。
- 参考スコア（独自算出の注目度）: 1.0742675209112622
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Redpine Science gives models and agents a single access point to a wide range of peer-reviewed literature, queried directly through the Model Context Protocol (MCP) and an API. This report evaluates Redpine Science on two levels: the relevance of the retrieved chunks, and a model's answer when it has access to Redpine Science compared to web search. Both public and expert-validated benchmarks are used. Public benchmarks are a widely accepted way to test model development and are comparable across labs, but risk saturation and memorization. To address this, we complement them with an expert-validated question set. In total, this report presents four evaluations. On ScholarQABench SciFact, the public answer-quality benchmark reported here, an agent with Redpine Science answers 94.4% of claims correctly against 87.6% with no retrieval. On the expert-validated question set, an agent with Redpine Science states 80.1% of the required claims against 70.2% for an agent restricted to web search. On the 668 queries of a public retrieval benchmark whose gold paper Redpine holds, stripped of any model reasoning, Redpine Science places the correct source paper in its top ten results for 83.1% of queries (Recall@10), against 79.3% for the benchmark's creator. A blinded expert relevance panel places Redpine Science's Precision@5 at 75.2% against 39.8% for the PubMed search tool. We release the expert-validated question set and instructions to reproduce every headline result above, at https://github.com/redpine-ai/benchmarks.
- Abstract（参考訳）: Redpine Scienceは、モデルとエージェントに対して、モデルコンテキストプロトコル(MCP)とAPIを通じて直接クエリされる、幅広いピアレビュー文学への単一のアクセスポイントを提供する。
本報告では、検索したチャンクの関連性と、Web検索と比較してRedpine Scienceにアクセスした際のモデル回答の2つのレベルについて、Redpine Scienceを評価した。
公開ベンチマークとエキスパート検証ベンチマークの両方が使用されている。
パブリックベンチマークは、モデル開発をテストするための広く受け入れられた方法であり、実験室間で同等であるが、リスク飽和と記憶化である。
この問題に対処するため、専門家が検証した質問セットでそれらを補完する。
本報告では4つの評価を行った。
ScholarQABench SciFactでは、Redpine Scienceのエージェントが、クレームの94.4%を、検索なしで87.6%に対して正しく答えている。
専門家が検証した質問セットでは、Redpine Scienceのエージェントが、Web検索に制限されたエージェントに対して70.2%の要求されたクレームの80.1%を記述している。
Redpine Scienceは、ゴールドペーパーのRedpineが保持する公開検索ベンチマークの68のクエリで、正しいソースペーパーをトップ10のクエリの83.1%(Recall@10)に配置し、ベンチマークの作者は79.3%である。
盲目の専門家関係パネルでは、Redpine ScienceのPrecision@5を75.2%、PubMed検索ツールの39.8%に配置している。
専門家が検証した質問セットと、上記のすべての見出し結果を再現するための指示を、https://github.com/redpine-ai/benchmarks.comでリリースします。
関連論文リスト
- DISCERN: Can AI Agents Work Like Scientists and Guide Discovery? [54.755189648365565]
私たちは、自動研究ワークフローの3つの重要なレベルを評価するために、実際に利用可能なデータセットのベンチマークであるdisCERNを紹介します。
エージェントはレベル1の60.8%、レベル2の34.2%、レベル3の評価の0.6%で完璧なスコアを得る。
これらのプロファイルは、科学的な援助を監督する機会を特定するが、現在のエージェントは信頼できる自律的な分析や発見をまだ示していない。
論文 参考訳（メタデータ） (2026-09-27T08:29:32Z) - Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳（メタデータ） (2026-09-23T17:54:01Z) - How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks [60.853503196898906]
主要な物理学ベンチマークに関する低報告のスコアは、フロンティア言語モデルが高度な物理学に苦しむことを示唆している。
我々は,6つの広く使用されている物理ベンチマークでフロンティアモデルを評価し,専門家と評価することで,これらの知見を再考する。
論文 参考訳（メタデータ） (2026-09-11T16:06:50Z) - How AI Models Manage Epistemic Authority: A Taxonomy and Comparative Analysis of Responses to User Disagreement [0.573978744524696]
ユーザが回答に挑戦すると、モデルがどのように権威を管理し、ここでは知識、能力、あるいは助言する権利を主張する。
我々は,14モデルから2,310個の制御された課題シナリオと32,340個の応答のデータセットを構築した。
反応の85%でユーザを検証するが、元のクレームは65%で維持する。
論文 参考訳（メタデータ） (2026-09-07T15:47:29Z) - SCIRIGOR:Evaluating Open-Ended Scientific Analysis Beyond Final Scores [11.097584790037454]
我々は,エビデンスを基盤としたマルチモーダルな科学分析を定式化し,エージェントが実行可能分析と同一実行時の結果と視覚化によって支持されるクレームを生成することを要求した。
SciRIGORは6つの領域と17のサブフィールドにまたがる科学論文から100のケースをまとめた評価フレームワークとベンチマークである。
完全ベンチマークでは、主張はほぼ同じ率(91.8%対91.0%)で忠実で不信な結果に同意するが、ソフトエビデンスチェーンスコアでは62.6%、厳密な全チェーン成功では18.0%を超えない。
論文 参考訳（メタデータ） (2026-09-05T17:29:15Z) - K-Bench: measuring model performance on real scientific agent requests [0.0]
K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。
3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。
39,934点中47.6%が8点を下回った。
論文 参考訳（メタデータ） (2026-08-21T20:06:08Z) - Bringing analytic rigor to agentic AI for science: The Brain Researcher platform for neuroimaging data analysis [59.44063760362954]
本稿では、神経イメージング研究者の計算環境で動作するエージェントリサーチハーネスであるBrain Researcherを紹介する。
ベンチマークでは、Brain Researcherは7つのモデルで第1選択ツールの選択精度を70.2ポイント向上させた。
共同研究と自己進化研究において、多元的分析によって分析選択感度が明らかにされ、科学的レビューでは、承認された、認定された、修正された、ブロックされた、拒否された、または延期された。
論文 参考訳（メタデータ） (2026-08-20T11:13:27Z) - TRACES: A Benchmark for Epistemic Reliability in Scientific Reasoning by LLMs [0.0]
下流検証が存在しない領域では、科学的なエージェントとして大きな言語モデルが提案されている。
筆者らは,42枚の抽出,不正,疑似科学的論文からなるプローブコーパスを,各論文のフレーミングと単発モデルエンゲージメントを抽出・評価する手法と組み合わせて導入した。
プローブは、5つのクレームタイプ、製造された観測、擬似物理機構、魔法の前提、合法化橋、貨物カルト実験である。
論文 参考訳（メタデータ） (2026-08-11T20:30:32Z) - Do Agent Benchmarks Measure Capability? Protocol Validity in the Age of Agentic AI [6.058290832294911]
エージェントベンチマークは、リポジトリの編集、Web研究、端末の使用、長期のインタラクションをますます評価している。
最近の報奨ベンチマークとシステムレポートは、エージェントが代わりに公開ソリューションを回復し、評価成果物を読み、ジェネレータ構造を推論し、フィードバックを操作し、不正なスコアリングパスの恩恵を受けることができることを示している。
我々は、プロトコルの有効性を定式化し、露出を特定し、エージェントがどのように使用したかを決定し、その結果のスコアが誤解を招くかどうかを評価するポストホック監査であるHackDetectを導入する。
論文 参考訳（メタデータ） (2026-07-24T14:55:19Z) - PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。
我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。
LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文 参考訳（メタデータ） (2026-03-02T00:50:39Z) - Can Deep Research Agents Find and Organize? Evaluating the Synthesis Gap with Expert Taxonomies [57.11324429385405]
72のコンピュータサイエンスサーベイから得られた診断ベンチマークであるTaxoBenchを紹介する。
我々は,3,815個の引用を根本的真理として正確に分類した分類木を手作業で抽出した。
ベストエージェントは、専門家が選択した論文の20.9%しかリコールせず、完璧なインプットであっても、最高のモデルは組織の0.31 ARIしか達成していない。
論文 参考訳（メタデータ） (2026-01-18T11:57:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。