論文の概要: Scientific Agents: Evaluating Profession-Specific System Prompts on Scientific Tasks

• arxiv url: http://arxiv.org/abs/2610.00084v1
• Date: Mon, 07 Sep 2026 00:21:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.35853
• Title: Scientific Agents: Evaluating Profession-Specific System Prompts on Scientific Tasks
• Title（参考訳）: 科学的エージェント:科学的課題における専門的なシステムプロンプトの評価
• Abstract要約: 一致したプロファイルは出力トークンの1.5-2.3倍、呼び出し成功時の2.2-4.5倍のコストを生み出した。 バイオミステリーベンチバイオインフォマティクスを60のツールで用いた場合、平均解率はプロファイルで46.7%、ベースラインで56.7%であり、トークンとタイムリミットがより頻繁に停止するので-10.0ポイント間隔 [-16.7, -3.3] の違いがある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detailed profession-specific system prompts raise token use and estimated cost per response without a consistent accuracy gain. We evaluate Scientific Agents, an open-source corpus of 503 profession-specific AGENTS.md profiles, with Gemini 3.8 Flash via OpenRouter in the Pi agent harness. We compare matched profiles with four controls: a minimal baseline ("You are a helpful assistant"), the profile's opening role sentence, a generic scientific rigor guide, and a profile from an unrelated domain. Across nine text-based science benchmarks (4,531 sampled questions, 100 matched profiles), 4,488 items completed all five conditions after API-error retries, scored with automated, rule-based grading. The average profile-baseline accuracy difference is -0.6 percentage points (95% bootstrap interval [-1.5, +0.2] across fixed tasks), and no benchmark shows a statistically clear improvement. Matched profiles produced 1.5-2.3 times as many output tokens and cost 2.2-4.5 times more per successful call. On 60 tool-using BioMysteryBench bioinformatics problems (three runs each for baseline and profile), mean solve rates were 46.7% with the profile and 56.7% at baseline, a difference of -10.0 percentage points (95% interval [-16.7, -3.3]) driven by more frequent token- and time-limit stops under the profile. Longer prompts had one unexpected operational advantage: on SuperGPQA, frequent provider API drops left the short baseline with a correct first-pass answer on only 54.0% of items, against 71.6% with the profile. Generic and mismatched prompts were about as reliable, so this gain comes from prompt length or formatting rather than domain expertise. For the tested model and tasks, loading full profession profiles by default does not improve accuracy and costs considerably more; whether selective retrieval of profile sections or open-ended scientific tasks would change this remains to be tested.
• Abstract（参考訳）: 専門職固有の詳細なシステムは、一貫した精度の獲得なしにトークンの使用とレスポンス毎の見積コストを上昇させる。 我々は、503の専門職固有のAgentS.mdプロファイルのオープンソースコーパスであるScientific Agentsを評価し、PiエージェントハーネスでOpenRouter経由でGemini 3.8 Flashを使用。 マッチングされたプロファイルを、最小限のベースライン("あなたは役に立つアシスタント)、プロファイルのオープニングロール文、ジェネリックサイエンスリガーガイド、無関係ドメインからのプロファイルの4つのコントロールで比較する。 9つのテキストベースの科学ベンチマーク(4,531のサンプル、100のプロファイル)と4,488の項目が、APIエラーの再試行後に5条件すべて完了した。 平均プロファイルベースライン精度差は-0.6ポイント(95%ブートストラップ間隔 [-1.5, +0.2] )であり、統計学的に明らかな改善を示すベンチマークは存在しない。 一致したプロファイルは出力トークンの1.5-2.3倍、呼び出し成功時の2.2-4.5倍のコストを生み出した。 60のツールを使用するBioMysteryBenchバイオインフォマティクス問題(ベースラインとプロファイルでそれぞれ3回実行)では、プロファイルで46.7%、ベースラインで56.7%、プロファイルでより頻繁なトークンとタイムリミットの停止により-10.0ポイント(95%間隔 [-16.7, -3.3])の差があった。 SuperGPQAでは、頻繁なプロバイダAPIのドロップが、54.0%の項目で正しいファーストパスの回答でショートベースラインを離れ、71.6%のプロファイルが与えられた。 ジェネリックなプロンプトとミスマッチしたプロンプトは、ほぼ信頼できるものだったため、ドメインの専門知識ではなく、プロンプト長やフォーマッティングによって得られる。 テストされたモデルとタスクでは、デフォルトで完全な専門職のプロファイルをロードしても正確さやコストが大幅に向上しない。

関連論文リスト

• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• CredWise: A Controlled Agentic Decision-Intelligence Framework for Explainable and Auditable Credit-Risk Assessment [0.0]
  CredWiseは、信用リスク予測、確率キャリブレーション、説明可能な人工知能、ポリシー検索、制御されたエージェントベースの分析を統合する、意思決定支援フレームワークである。 2007-2016年、トレーニング用、2017年、テスト用、2018年。 結果は、CredWiseが予測、説明、ポリシーエビデンス、構造化分析をひとつのワークフローで組み合わせることができることを示している。
  論文  参考訳（メタデータ） (2026-09-29T10:38:53Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Hierarchical Online Prompt Mutation with Dual-Loop Feedback for Guardrailed Evidence Document Generation: A Production-Evaluation Case Study [0.0]
  HOPMは階層的なオンラインプロンプト突然変異フレームワークである。 本論文は、制御設定、サンプルサイズ、信頼区間、ペアテスト、プロンプトトークンカテゴリ、擬似コード、スキーマ、ルーリック、ガードレール分類、構築された例を含む。
  論文  参考訳（メタデータ） (2026-05-31T22:17:44Z)
• FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
  FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。 各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。 FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-30T10:21:20Z)
• Accuracy Standards for AI at Work vs. Personal Life: Evidence from an Online Survey [0.0]
  我々は、AIを活用したツールをプロフェッショナルとパーソナルのコンテキストで使う際に、人々がいかに正確さと引き換えにするかを研究する。 現代のAIシステムは許容できるが識別できない出力を生成できるため、我々は「正確性」を文脈固有の信頼性として定義する。
  論文  参考訳（メタデータ） (2026-02-06T19:13:51Z)
• Certified Error Control of Candidate Set Pruning for Two-Stage Relevance Ranking [57.42241521034744]
  本稿では、妥当性ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。 提案手法は,第1段階から抽出した候補集合を抽出し,第2段階の復位速度を向上する。
  論文  参考訳（メタデータ） (2022-05-19T16:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。