論文の概要: DeepInstructor: An Agentic AI Instructor for Experience-Driven Idea Evaluation

• arxiv url: http://arxiv.org/abs/2609.22104v1
• Date: Fri, 14 Aug 2026 01:52:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.710851
• Title: DeepInstructor: An Agentic AI Instructor for Experience-Driven Idea Evaluation
• Title（参考訳）: Deep Instructor: 経験駆動のアイデア評価のためのエージェントAIインストラクタ
• Abstract要約: DeepInstructor(ディープインストラクタ)は、構造化された学問経験に対する推論としてアイデア評価を定式化するエージェントフレームワークである。 本研究は,科学的思考評価が,構造化された学術的経験よりも明確な推論に基礎を置いていることを示唆している。
• 参考スコア（独自算出の注目度）: 27.903133398257324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As automated scientific discovery advances, Large Language Models (LLMs) can now generate research ideas at an unprecedented scale, shifting the bottleneck from idea generation to idea evaluation. Existing evaluators mainly rely on parametric LLM knowledge or unstructured retrieval, producing judgments that lack the experience-grounded reasoning used by human instructors. To address this, we propose DeepInstructor, an agentic framework that formulates idea evaluation as reasoning over structured scholarly experience. DeepInstructor constructs an Experience Graph from 58,607 peer reviews and employs a ReAct-based agent to retrieve dimension-specific evidence for traceable evaluation. We further introduce DeepInstruct, a dataset with controlled pairwise comparisons across novelty, significance, and feasibility. Experiments show that DeepInstructor substantially outperforms existing baselines, improving Hit@1 and Hit@2 alignment with human judgments by 24.4% and 29.7%, respectively. Our findings suggest that scientific idea evaluation can be grounded in explicit reasoning over structured scholarly experience
• Abstract（参考訳）: 科学的発見の自動化が進むにつれて、LLM(Large Language Models)は前例のない規模で研究アイデアを生成できるようになり、ボトルネックをアイデア生成からアイデア評価に移行した。 既存の評価者は、主にパラメトリックLLM知識または非構造化検索に依存し、人間のインストラクターが使用する経験的推論を欠いた判断を生成する。 これを解決するために,構造化された学習経験に対する推論としてアイデア評価を定式化するエージェントフレームワークであるDeepInstructorを提案する。 DeepInstructorは58,607人のピアレビューからエクスペリエンスグラフを構築し、ReActベースのエージェントを使用して、トレース可能な評価のための次元固有のエビデンスを検索する。 さらに、新規性、重要性、実現可能性にまたがるペアワイズ比較のデータセットであるDeepInstructを紹介します。 実験の結果、DeepInstructorは既存のベースラインを大幅に上回り、Hit@1とHit@2がそれぞれ24.4%、29.7%向上した。 この結果から,構造化された学術的経験よりも,科学的思考評価が明確な推論に基礎を置いていることが示唆された。

関連論文リスト

• AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era [55.37558486468993]
  AgentIdeaBenchは、静的観測とアクティブ探索という2つの一致した条件下で科学的思考を評価するベンチマークである。 5つの分野にまたがる40の高密度サブフィールドにおける33個のLDMの静的アクティブ評価を一致させた。 アクティブな探索により、ヘッドルームの能力は大幅に向上し、ヘッドルームはモデル間で不均一に分散される。
  論文  参考訳（メタデータ） (2026-09-07T15:19:13Z)
• From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent [52.42081442204093]
  我々は、紙の不審な部分を積極的に調査する柔軟性の欠如が、重要な制限であると主張している。 本稿では,保守的かつ構造化されたレビューログによってガイドされた論文を積極的にレビューする,科学的ピアレビューエージェントであるProReviewerを提案する。 実験の結果,8Bバックボーンを持つProReviewerは教師付き微調整によって訓練され,強化学習によって最適化され,5つの品質次元で最高の平均スコアが得られることがわかった。
  論文  参考訳（メタデータ） (2026-06-11T13:38:23Z)
• Is this Idea Novel? An Automated Benchmark for Judgment of Research Ideas [5.4020309622966325]
  RINoBenchは、研究アイデアの新規性判断を大規模に評価するための最初の総合的なベンチマークである。 人間の専門家によって導かれ、判断される1,381件の研究アイデアと、9つの自動評価指標で構成されている。 このベンチマークを用いて、研究アイデアの新規性を判断する能力について、最先端の大規模言語モデルをいくつか評価する。
  論文  参考訳（メタデータ） (2026-03-11T00:54:10Z)
• DeepInnovator: Triggering the Innovative Capabilities of LLMs [41.60038455664918]
  DeepInnovatorは、大規模言語モデル(LLM)の革新的な機能を引き出すために設計されたトレーニングフレームワークである。 我々は、未ラベルの学術文献の膨大なコーパスから構造化された研究知識を抽出するために、自動データ抽出パイプラインを構築した。 本稿では,研究アイデアを連続的に予測し,評価し,改良する反復的なプロセスとして,研究アイデアの生成をモデル化する,次世代のアイデア予測のトレーニングパラダイムを紹介する。
  論文  参考訳（メタデータ） (2026-02-21T18:07:18Z)
• InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem [87.30601926271864]
  InnoEvalは、人間レベルのアイデアアセスメントをエミュレートするために設計された、深いイノベーション評価フレームワークである。 我々は,多様なオンライン情報源から動的証拠を検索し,根拠とする異種深層知識検索エンジンを適用した。 InnoEvalをベンチマークするために、権威あるピアレビューされた提案から派生した包括的なデータセットを構築します。
  論文  参考訳（メタデータ） (2026-02-16T00:40:31Z)
• Towards Personalized Deep Research: Benchmarks and Evaluations [56.581105664044436]
  我々は、Deep Research Agents(DRA)におけるパーソナライズ評価のための最初のベンチマークであるPersonalized Deep Research Benchを紹介する。 さまざまな研究タスク50と、構造化されたペルソナ属性と動的現実世界のコンテキストを組み合わせた25のユーザプロファイルを組み合わせ、250のリアルなユーザタスククエリを生成する。 さまざまなシステムの実験は、パーソナライズされたディープリサーチを扱う際の現在の能力と限界を強調します。
  論文  参考訳（メタデータ） (2025-09-29T17:39:17Z)
• LiveIdeaBench: Evaluating LLMs' Divergent Thinking for Scientific Idea Generation with Minimal Context [13.967898012303325]
  我々は,Large Language Modelsの科学的アイデア生成を評価するベンチマークであるLiveIdeaBenchを紹介する。 我々のベンチマークでは、最先端のLCMのダイナミックパネルを用いて、創発性、実現性、流布性、柔軟性、明快さの5つの重要な側面で生成されたアイデアを評価する。 我々の結果は、QwQ-32B-previewのようなモデルが、一般的な知能スコアに大きな差があるにもかかわらず、claude-3.7-sonnet:thinkingのような上位モデルのモデルに匹敵する創造的なパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2024-12-23T14:13:44Z)
• STRICTA: Structured Reasoning in Critical Text Assessment for Peer Review and Beyond [68.47402386668846]
  本研究では,テキストアセスメントをステップワイド推論プロセスとしてモデル化するために,Structured Reasoning In Critical Text Assessment (STRICTA)を導入する。 STRICTAは、因果性理論に基づく相互接続推論ステップのグラフに評価を分解する。 約40人のバイオメディカル専門家が20以上の論文について4000以上の推論ステップのデータセットにSTRICTAを適用した。
  論文  参考訳（メタデータ） (2024-09-09T06:55:37Z)
• Good Idea or Not, Representation of LLM Could Tell [86.36317971482755]
  我々は、大規模言語モデルの知識を活用し、科学的アイデアのメリットを評価することを目的としたアイデアアセスメントに焦点をあてる。 我々は、このタスクに対する様々なアプローチのパフォーマンスを訓練し評価するために、細心の注意を払って設計された、フルテキストを持つ約4万の原稿からベンチマークデータセットをリリースする。 その結果, 大規模言語モデルの表現は, 生成出力よりもアイデアの価値を定量化する可能性が高いことが示唆された。
  論文  参考訳（メタデータ） (2024-09-07T02:07:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。