論文の概要: OpenBioRQ: Unsolved Biomedical Research Questions for Agents

• arxiv url: http://arxiv.org/abs/2606.21959v1
• Date: Sat, 20 Jun 2026 09:16:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 23:32:47.634451
• Title: OpenBioRQ: Unsolved Biomedical Research Questions for Agents
• Title（参考訳）: OpenBioRQ: エージェントのための未解決のバイオメディカル研究質問
• Abstract要約: 未解決のバイオメディカル研究のベンチマークであるtextopenbiorqを紹介します。 これはエージェント的な設定 -- モデルが複数のツールコールを発行しなければならない -- と、解答キーを持たない未解決の質問を組み合わせた最初のベンチマークである。 エージェントがツールの使用をやめる、最も難しい質問に対して、エージェントの崩壊を観察します。
• 参考スコア（独自算出の注目度）: 2.3677513428867614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A working citation looks like proof -- but the fact that a link resolves does not mean the cited paper supports the claim. I find that current agentic models rarely fabricate citations (over $99\%$ resolve), yet roughly $15.9\%$ link to the wrong paper. Existing benchmarks miss this failure mode: when a question has a fixed answer key, a model can reproduce the expected source from that key rather than independently verifying that the source supports the claim. I introduce \textbf{\openbiorq{}}, a retrieval-grounded agentic benchmark of $12{,}553$ unsolved biomedical research questions across $12$ domains that treats open questions as a faithfulness-and-abstention probe. To my knowledge, this is the first biomedical benchmark to combine an agentic setting -- where the model must issue multiple tool calls -- with unsolved questions that have no answer key. Openness is verified against real follow-up evidence rather than a model's parametric knowledge. Difficulty is empirical: I anchor it on questions that three open-weight reference models fail to answer, rather than on subjective hardness labels. On this hardest subset, held-out models from the same lineage as the difficulty anchors solve only ~17%, while three independent frontier agents (Gemini-3-Pro, Opus-4.7, GPT-5.5) span a wide 29-60% range. The benchmark is thus hard, non-saturating (the best agent still leaves ~33-40\% unsolved), and discriminating across capability tiers. Beyond difficulty, I observe agentic collapse on the hardest questions, where agents stop using their tools. For the most collapse-prone model, blocking tool access entirely barely changes its score -- so tools stop paying off exactly where they are needed most. A frozen per-question checklist raises inter-judge agreement from Spearman 0.35 to 0.82.
• Abstract（参考訳）: 作業中の引用は証明のように見えるが、リンクが解決したという事実は、引用された論文が主張を支持しているという意味ではない。 現在のエージェントモデルは、引用を滅多に作らない($99\%以上)が、おおよそ$15.9\%は間違った論文へのリンクである。 問題に固定された応答キーがある場合、モデルは、ソースがクレームをサポートすることを独立して検証するのではなく、そのキーから期待されるソースを再生することができる。 このベンチマークは、12ドル(約1万2000円)のドメインにまたがる未解決のバイオメディカル・リサーチの質問で、オープンな質問を忠実で控えめな調査として扱う。 私の知る限り、これはエージェント的な設定 -- モデルが複数のツールコールを発行しなければならない -- と、答えキーを持たない未解決の質問を組み合わせた最初のバイオメディカルベンチマークです。 開放性はモデルのパラメトリック知識よりも実際の追跡証拠に対して検証される。 3つのオープンウェイトな参照モデルは、主観的な硬さラベルではなく、答えに答えられません。 この最も難しいサブセットでは、難易度アンカーと同じ系統の保留モデルはわずか17%しか解決せず、3つの独立したフロンティアエージェント(Gemini-3-Pro, Opus-4.7, GPT-5.5)は29-60%の範囲にわたっている。 したがって、ベンチマークは困難で、飽和していない(最高のエージェントは、まだ解けていない ~33-40\% を残している)。 難易度を超えて、エージェントがツールの使用をやめる最も難しい質問に対して、エージェントの崩壊を観察します。 最も崩壊しやすいモデルでは、ブロッキングツールへのアクセスがスコアをほとんど変更しない。 フリーズ・パー・クエスト・チェックリストは、スピアマン 0.35 から 0.82 まで、ジャッジ間の合意を引き上げている。

関連論文リスト

• TRACE: Training Reasoning Agents for Causal Exploration with Synthesized Rewards [15.908097225313968]
  検証可能な報酬付き強化学習(RLVR)は、数学やコードなどの分野において高度な言語モデル推論を持つ。 この検証の非対称性を設計できるかどうかを問う。 本手法は,12の根本原因と細粒度セグメント属性を有するデジタル広告診断環境であるTRACEで実現した。
  論文  参考訳（メタデータ） (2026-09-09T15:21:47Z)
• Governance at the Boundary: How Agent Decomposition Degrades Policy Compliance [6.411104724993454]
  金融エージェントの統治可能性のベンチマークであるFiducia-benchを紹介します。 エージェントは、そのガバナンスを劣化させるのか? あるコンポーネントによって発見されたポリシー関連事実は、それらに作用しなければならないコンポーネントに到達する前に、ハンドオフ境界で減衰される。
  論文  参考訳（メタデータ） (2026-08-17T03:31:59Z)
• When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs [0.0]
  多数決による自己整合性は、小命令チューニングモデルのGPQAダイアモンド問題において、プロブレム毎の精度を低下させる。 このバージョンでは、最も自然な修復も失敗し、v1が1つとして扱われた3つの信号障害を分離する。
  論文  参考訳（メタデータ） (2026-08-11T20:08:51Z)
• AREX: Towards a Recursively Self-Improving Agent for Deep Research [75.96468303743958]
  本稿では,再帰的自己改善型ディープリサーチエージェントであるAREXを紹介する。 AREXは、証拠を集め、暫定的な回答を構築する内部研究ループを交互に構成する。 我々は,エージェント学習と長期強化学習を通じて,AREXを検証済みの合成タスクと高品質な軌道上で訓練する。
  論文  参考訳（メタデータ） (2026-07-23T16:05:46Z)
• MoCA-Agent: A Market-of-Claims Code Agent for Financial and Numerical Reasoning [47.751319722749116]
  textscMOCA-Agentは、フリーフォームのマルチエージェントの議論をクレームレベルの検証に置き換える、有望なコードエージェントである。 このシステムは、各質問をタイプされた原子的クレームに分解し、専門家のトレーダーにそれらのクレームの売買を依頼し、信頼度の高い受け入れ/拒絶決定へと命令をクリアする。 コード認識検証器は、実行、構造整合性、一般的な金銭的推論エラーのプログラムをチェックする。
  論文  参考訳（メタデータ） (2026-06-10T00:45:39Z)
• PBT-Bench: Benchmarking AI Agents on Property-Based Testing [29.035258104995204]
  PBT-Benchは、40の実際のPythonライブラリにまたがる100のプロパティベースのテスト問題のベンチマークである。 各問題は1つ以上のセマンティックなバグ(総数365、平均3.65)を注入し、デフォルトのストラテジーなランダムな入力がほとんど起こらないように設計する。 PBT指導によるバグリコールは42.1%から83.4%の範囲で、オープンエンドベースラインでは31.4%から76.7%である。
  論文  参考訳（メタデータ） (2026-05-13T18:01:05Z)
• What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
  現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。 我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。 3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
  論文  参考訳（メタデータ） (2026-05-12T01:57:53Z)
• ClaimFlow: Tracing the Evolution of Scientific Claims in NLP [67.23189226608389]
  NLP文献のクレーム中心のビューである$texttClaimFlow$を紹介します。 新しいタスク $-$$textitClaim Relation Classification$$-$を定義する。 我々の分析によると、63.5$%の請求は決して再利用されない。
  論文  参考訳（メタデータ） (2026-03-17T02:43:36Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
  大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。 実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。 RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T16:46:11Z)
• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• Mitigating False-Negative Contexts in Multi-document QuestionAnswering with Retrieval Marginalization [29.797379277423143]
  応答不能なクエリを適切に処理するset-valued検索の新しいパラメータ化を開発している。 トレーニング中にこの集合を限界化することで、モデルが注釈付き支持証拠の偽陰性を緩和できることを示す。 IIRCでは,代替文脈の余分化による連成モデリングによりモデル性能が5.5F1ポイント向上し,50.6F1の新たな最先端性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-22T23:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。