論文の概要: Research Design Tracking and Assessment for the Social Sciences

• arxiv url: http://arxiv.org/abs/2608.27049v1
• Date: Thu, 27 Aug 2026 12:36:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.402647
• Title: Research Design Tracking and Assessment for the Social Sciences
• Title（参考訳）: 社会科学研究のデザイン追跡と評価
• Abstract要約: 本稿では,論文で使用される研究設計を検出し,その有効性を評価するタスクであるARDTrA(Automated Research Design Tracking and Assessment)を紹介する。 本研究では,6つのファクトファクト・リサーチ・デザインを網羅した専門家による論文データセットを作成し,マルチターンRAGに基づく会話パイプラインを用いてタスクを評価する。
• 参考スコア（独自算出の注目度）: 0.18058404137575482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable assessment of causal research designs in the social sciences is critical for evidence-based policy-making, yet has so far relied entirely on manual expert analysis. We introduce Automated Research Design Tracking and Assessment (ARDTrA), a task that involves detecting the research design used in a paper and assessing the quality of its application. We create an expert-annotated dataset of papers covering six families of counterfactual research designs and evaluate the task using a multi-turn RAG-based conversational pipeline. Across four retrieval strategies, four LLMs and six embedding models, we find that passage length is the main driver of performance, explaining 52-66% of the variance. A per-research-design analysis also shows that human and machine difficulty do not align: the designs that prove hardest for the system are not those on which expert annotators disagree most, pointing to two independent sources of task difficulty.
• Abstract（参考訳）: 社会科学における因果的研究設計の信頼性評価は、証拠に基づく政策決定には重要であるが、これまでは、完全に手動の専門家分析に依存してきた。 本稿では,論文で使用される研究設計を検出し,その有効性を評価するタスクであるARDTrA(Automated Research Design Tracking and Assessment)を紹介する。 本研究では,6つのファクトファクト・リサーチ・デザインを網羅した専門家による論文データセットを作成し,マルチターンRAGに基づく会話パイプラインを用いてタスクを評価する。 4つの検索戦略,4つのLSM,6つの埋め込みモデルにより,通過長が性能の主要因となり,52-66%のばらつきが説明できる。 システムにとって最も難しい設計は、専門家のアノテータが最も反対する設計ではなく、2つの独立したタスク困難の原因を指し示している。

関連論文リスト

• AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
  AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。 エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。 最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
  論文  参考訳（メタデータ） (2026-04-28T06:05:17Z)
• Pitfalls in Evaluating Interpretability Agents [91.49742416116635]
  我々は,実験を反復的に設計し,仮説を洗練するエージェントシステムを構築した。 我々の研究は、複雑な自動解釈可能性システムを評価する上での根本的な課題を実証している。
  論文  参考訳（メタデータ） (2026-03-20T16:27:17Z)
• Anagent For Enhancing Scientific Table & Figure Analysis [13.604302149501557]
  アナジェント(Anagent)は、4つの特殊エージェントを通して科学的テーブルとフィギュア解析を強化するためのフレームワークである。 Anagentは170のドメインを持つ9つの広いドメインで大幅に改善されている。 タスク指向推論と文脈認識問題解決は,高品質な科学表と図形解析に不可欠であることを示す。
  論文  参考訳（メタデータ） (2026-02-10T18:46:28Z)
• EduResearchBench: A Hierarchical Atomic Task Decomposition Benchmark for Full-Lifecycle Educational Research [21.988207602041182]
  EduResearchBenchは,学術論文を対象とした初の総合的評価プラットフォームである。 EduResearchBenchは階層的原子タスク分解(HATD)フレームワーク上に構築されています。 本稿では,基礎的スキルから複雑な方法論的推論,議論に至るまで,段階的に能力を高めるカリキュラム学習戦略を提案する。
  論文  参考訳（メタデータ） (2026-01-22T09:52:30Z)
• DeepResearchEval: An Automated Framework for Deep Research Task Construction and Agentic Evaluation [56.886936435727854]
  DeepResearchEvalは、ディープリサーチタスク構築とエージェント評価のための自動化フレームワークである。 タスク構築のために,多様なユーザプロファイルに固定された現実的で複雑な研究タスクを生成するペルソナ駆動パイプラインを提案する。 評価には,タスク固有の評価次元,基準,重みを動的に導出する適応的ポイントワイド品質評価と,引用が欠落した場合でもWeb検索によるレポート文の自動抽出と検証を行うアクティブ・ファクト・チェッキングの2つの要素からなるエージェントパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-01-14T18:38:31Z)
• ResearchRubrics: A Benchmark of Prompts and Rubrics For Evaluating Deep Research Agents [11.666923792025313]
  Deep Research(DR)は、大規模言語モデルを活用して、オープンなクエリに対処する新興エージェントアプリケーションである。 我々はResearchRubricsを紹介します。これは2,800時間以上の人的労働時間で構築されたDRの標準ベンチマークです。 また,DRタスクを3つの軸(概念的幅,論理的ネスト,探索)に沿って分類する,新たな複雑性フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-10T23:07:14Z)
• FinDeepResearch: Evaluating Deep Research Agents in Rigorous Financial Analysis [110.5695516127813]
  HisRubricは階層的な分析構造ときめ細かいグレーディングルーブリックを備えた新しい評価フレームワークである。 FinDeepResearchは、4つの言語にまたがる8つの金融市場から64の上場企業からなるベンチマークである。 6つのDRエージェント、深い推論能力と探索能力を備えた5つのLLM、深い推論能力を持つ5つのLLMを含む16の代表的な手法を用いてFinDeepResearchに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2025-10-15T17:21:56Z)
• Large Language Models for Scholarly Ontology Generation: An Extensive Analysis in the Engineering Field [0.0]
  本稿では,異なる研究トピック間の意味的関係を識別する大規模モデルの能力について分析する。 我々はそのタスクを評価するためにIEEE Thesaurusに基づく金の標準を開発した。 Mixtral-8x7B、Dolphin-Mistral、Claude 3-7Bなど、いくつかの優れた結果が得られた。
  論文  参考訳（メタデータ） (2024-12-11T10:11:41Z)
• SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
  Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。 本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。 我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
  論文  参考訳（メタデータ） (2024-09-11T17:37:48Z)
• STRICTA: Structured Reasoning in Critical Text Assessment for Peer Review and Beyond [68.47402386668846]
  本研究では,テキストアセスメントをステップワイド推論プロセスとしてモデル化するために,Structured Reasoning In Critical Text Assessment (STRICTA)を導入する。 STRICTAは、因果性理論に基づく相互接続推論ステップのグラフに評価を分解する。 約40人のバイオメディカル専門家が20以上の論文について4000以上の推論ステップのデータセットにSTRICTAを適用した。
  論文  参考訳（メタデータ） (2024-09-09T06:55:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。