論文の概要: Decision-Centric Research: A Calibrated Decision Model and Benchmark for Scientific Agents
- arxiv url: http://arxiv.org/abs/2611.00774v1
- Date: Sat, 31 Oct 2026 09:34:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-13 09:49:06.70311
- Title: Decision-Centric Research: A Calibrated Decision Model and Benchmark for Scientific Agents
- Title（参考訳）: 意思決定中心研究:科学エージェントの校正決定モデルとベンチマーク
- Abstract要約: DCR(Decision-Centric Research)は、個人の選択を監督、予測、評価の共通単位にするために導入された。
DCRは24の意思決定タイプを定義し、そのうち10は2000のルール生成ケースのResearch Decision Benchmark(RD-Bench)でインスタンス化されている。
- 参考スコア（独自算出の注目度）: 25.07829209309754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scientific agents make consequential choices about evidence, next actions and research strategy, but choices embedded in generated text are difficult to evaluate independently. Decision-Centric Research (DCR) is introduced to make individual choices the common unit of supervision, prediction and evaluation through typed predictions over an explicit Research State. DCR defines 24 decision types, ten of which are instantiated in the Research Decision Benchmark (RD-Bench) of 2,000 rule-generated cases. The Decision-Centric Research Model (DCRM) shares a candidate-token readout across types to produce answers and option probabilities in one forward pass. Under a held-out research-domain split, a 0.6B DCRM (state-aware) achieves 89.4% Top-1 accuracy, compared with 27.8% for DCRM (question-only) trained with the same recipe and 36.4% for DeepSeek-V4.1-Flash. All 30 type-seed comparisons against DCRM (question-only) are significant after Holm correction. After held-out calibration, the resulting prediction sets contain a mean of 1.515 candidates at 97.1% empirical label coverage, reducing mean set size by 57.4% relative to DCRM (question-only) at similar coverage. These results establish a compact state-aware decision layer with accurate typed prediction and an inspectable uncertainty interface.
- Abstract（参考訳）: 科学的エージェントは、証拠、次の行動、研究戦略に関する連続的な選択を行うが、生成されたテキストに埋め込まれた選択は独立して評価することは困難である。
決定中心研究(DCR)は、個々の選択を、明示的な研究状態上の型付き予測を通じて、監督、予測、評価の共通の単位とするものである。
DCRは24の意思決定タイプを定義し、そのうち10は2000のルール生成ケースのResearch Decision Benchmark(RD-Bench)でインスタンス化されている。
Decision-Centric Research Model (DCRM) は、解答とオプション確率を1つの前方通過で生成するために、複数のタイプにまたがる候補の読み出しを共有している。
一方、DCRM(クエストのみ)は27.8%、DeepSeek-V4.1-Flashは36.4%である。
ホルム修正後のDCRM(クエストオンオンリー)に対する30のタイプシード比較は,いずれも有意である。
キャリブレーションを保留した後、結果として得られた予測セットは、平均1.515人の候補者を97.1%の実証ラベルでカバーし、同じカバレッジでDCRM(クエクションのみ)と比較して平均セットのサイズを57.4%削減した。
これらの結果は、正確な型付き予測と検査可能な不確実性インタフェースを備えた、コンパクトな状態認識決定層を確立する。
関連論文リスト
- PsyJev: Psychological Analysis via System-1 Judgment [45.29267139218238]
Web上での自己開示は、表現された経験の認識から症状関連情報の識別まで、多様な心理学的分析を支援する。
PsyJudgeBenchは6つの心理的領域に13の注釈付きデータセットと82の質問からなる。
PsyJevは,要求毎に指定された回答の分布を直接生成するシステム1モデルである。
論文 参考訳（メタデータ） (2026-10-27T06:03:37Z) - From Association to Decision Value: Testing Paired Instruction Dependence for VLA Corpus Selection [3.383341806828598]
本研究は,目標のみを変更すると,実証者が最初の決定を変更できる確率であるペア命令依存度について検討する。
56コーパスで発生した予測は, それぞれ独立に開花した4次航法コーパス136回にわたって, 80個の保留コーパスで前向きに評価した。
監査は信頼性が高く、下流対の正当性と関連付けられ、正当性を認識したベースラインに追加した場合の平均絶対予測誤差を低くする。
論文 参考訳（メタデータ） (2026-10-21T12:27:55Z) - DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems [20.41716710043437]
DecisionPivotは、48のタスクと7つの決定ロールにわたる40,033のアイテムからなる診断ベンチマークである。
文書化された、モデル固有のプロトコルを用いて、40の意思決定モデルと14の一般モデルを評価する。
論文 参考訳（メタデータ） (2026-10-20T16:57:49Z) - NeuroAct: Advancing EEG Analysis and Decoding via Dual-Loop Autonomous Research [47.26111362558365]
我々は脳波分析と復号のための自律的研究エージェントフレームワークNeuroActを紹介する。
NeuroActは、EEGファンデーションモデル、タスク固有の予測器、モデル組み合わせにまたがるデュアルループ自律研究を実装している。
我々は、(A)脳波総合解析、(B)クロスタスクモデル最適化、(C)シングルタスクオープンリサーチ、(D)協調予測の4つの設定を評価する。
論文 参考訳（メタデータ） (2026-10-18T12:09:42Z) - Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - Benchmarking candidate coverage and rejection policy transfer in typed decision models [7.736174008951463]
公開参照ラベルを用いてLaya,Jev,Qwen2.5-7B-Instructを比較した。
ソースキャリブレーションは、しばしばターゲットの動作点を保存するのに失敗する。
10の意図的候補を持つLayaは、スコープ外クエリの99.0%を検出するが、カバークエリの48.8%を拒否する。
論文 参考訳（メタデータ） (2026-10-02T14:36:46Z) - Beyond AI Literacy: A Structured Review and Exploratory Meta-Analysis of Measures for Competent Generative-AI Use [0.0]
職場における有能な生成AIの使用を評価する研究者は、自己報告、客観的テスト、および監視と信頼の尺度を選択する必要がある。
筆者らは24の焦点実験論文の構造化, 種別レビューを行った。
エージェントスコープ,パーミッション,リカバリ,状態分離,独立レビュー,エビデンスに基づくクロージャの完全な組み合わせを検査する,個別レベルの検証機器は検出されなかった。
論文 参考訳（メタデータ） (2026-09-14T14:16:18Z) - Bringing analytic rigor to agentic AI for science: The Brain Researcher platform for neuroimaging data analysis [59.44063760362954]
本稿では、神経イメージング研究者の計算環境で動作するエージェントリサーチハーネスであるBrain Researcherを紹介する。
ベンチマークでは、Brain Researcherは7つのモデルで第1選択ツールの選択精度を70.2ポイント向上させた。
共同研究と自己進化研究において、多元的分析によって分析選択感度が明らかにされ、科学的レビューでは、承認された、認定された、修正された、ブロックされた、拒否された、または延期された。
論文 参考訳（メタデータ） (2026-08-20T11:13:27Z) - Training-Free Model Selection and Domain-Aware Score Calibration for First-Shot Anomalous Sound Detection [0.12691047660244334]
DCASE Challenge Task 2における1発の異常音検出は、未確認の機械の異常を1つの閾値で警告しなければならない。
ソースドメインとターゲットドメインのAUCはシステム間で負の相関を持ち、開発セットの性能は評価セットのパフォーマンスを予測しない。
凍結したオーディオ埋め込みの上に、トレーニング不要のポストホック層で対処する。
論文 参考訳（メタデータ） (2026-07-05T22:22:31Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。