論文の概要: IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?

• arxiv url: http://arxiv.org/abs/2611.03424v1
• Date: Mon, 02 Nov 2026 16:45:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.623641
• Title: IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?
• Title（参考訳）: IdeaTaste: LLMは人間の研究の味を共有しているか?
• Abstract要約: 研究の味、何を読むべきか、どの問題を追求するか、どの方法を試すかという判断は、AI科学者の働きをますます形作る。 このベンチマークは、2025年に凍結された文献のスナップショットから、2026年に発行されたのと同じコミュニティの成果と、どれだけ近い研究提案を書けるかによって、LCMをスコア付けする。 我々の実験は6つの現代言語モデルと、確立された分野から新興分野までの4つの研究領域にまたがっており、合計90,000件以上の提案をカバーしている。
• 参考スコア（独自算出の注目度）: 47.76970279623799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research taste, the judgment of what to read, which problems to pursue, and which methods to try, increasingly shapes the work of AI scientists, yet it remains far less understood than their ability to execute research. We introduce IdeaTaste, a benchmark that scores an LLM by how closely the research proposals it writes from a literature snapshot frozen at 2025 match the work the same communities published in 2026. Our experiments span six contemporary language models and four research areas from established to emerging fields, covering more than 90{,}000 proposals in total. LLM agents fall well short of human communities in both the literature they cite and the ideas they state, reaching about 26\% of the human level on citation matching and only 18\% on idea matching. Their populations can cite as diversely as a community and take up its tasks and methods, yet rarely arrive at the concrete approaches and research plans it pursues. Neither richer field context nor larger populations substantially close this gap. In blinded expert review, AI proposals trail the 2026 papers least in presentation and most in expected success, echoing their gap in concrete approaches, and those whose ideas no human paper shares fare worst, suggesting weaker directions rather than overlooked opportunities. These results indicate that the main bottleneck in AI research taste lies less in finding the directions a community works on than in turning them into the concrete approaches it goes on to pursue. We release IdeaTaste as an open, continuously updated leaderboard (https://cxcscmu.github.io/IdeaTaste) that benchmarks contemporary AI proposals against future publication cycles.
• Abstract（参考訳）: 研究の味、何を読むべきか、どの問題を追求するか、どの方法を試すかという判断は、AI科学者の働きをますます形作るが、研究を実行する能力よりもはるかに理解されていない。 このベンチマークは、2025年に凍結された文献のスナップショットから、2026年に発行されたのと同じコミュニティの成果と、どれだけ近い研究提案を書けるかによって、LCMをスコア付けする。 実験は6つの現代言語モデルと、確立された分野から新興分野までの4つの研究領域にまたがっており、合計90,000件以上の提案をカバーしている。 LLMエージェントは、引用する文献とそれらが述べるアイデアの両方において、人間のコミュニティに非常に不足しており、引用マッチングでは人間のレベルが約26倍、アイデアマッチングではわずか18%に達している。 彼らの人口は、コミュニティとして多様であり、そのタスクや手法を引き継ぐことができるが、それが追求する具体的なアプローチや研究計画に到達することは滅多にない。 より豊かな分野の文脈や大きな人口がこのギャップを実質的に埋めることはない。 盲目の専門家によるレビューでは、AIの提案は2026年の論文を最小限に過ぎず、予想される成功が最も多く、具体的なアプローチのギャップを反映している。 これらの結果は、AI研究の味の主なボトルネックは、コミュニティが作業する方向を見つけることよりも、追求する具体的なアプローチに転換することにあることを示している。 IdeaTasteをオープンで継続的に更新されたリーダーボード(https://cxcscmu.github.io/IdeaTaste)としてリリースしています。

関連論文リスト

• IdeaScientist: Orchestrating Agents for Grounded Scientific Ideation [53.38412637382984]
  本稿では,イデオロギーをギャップ発見,イノベーション,レポート作成に分解し,各役割を強化学習で訓練するIdeanScientistを紹介する。 これらの役割は、関連する作業の限界を特定し、類似した問題設定から解の直観を引き出し、それらの直観を完全な研究提案へと発展させる。 ドメイン間の洞察の発見を容易にするため、検索、トレーニング、時間的に制御された評価のための277万の研究思想のコーパスであるSvalbard Idea Vaultを構築した。
  論文  参考訳（メタデータ） (2026-10-02T21:35:55Z)
• Measuring the Gap Between Human and LLM Research Ideas [63.27812052187884]
  高品質な人間研究論文の構想評価フレームワークを構築した。 それぞれの論文に対して、我々は、その中核となるアイデアにインスピレーションを与えたであろう、近縁な先行研究の小さなセットをリバースエンジニアリングする。 本稿では、その機会パターンと研究パラダイムにより、それぞれのアイデアをプロファイルするために、2軸のリサーチテイスト分類を導入する。
  論文  参考訳（メタデータ） (2026-07-01T17:59:56Z)
• AI Research Agents Narrow Scientific Exploration [12.949322198287417]
  我々は、AIと機械学習の引用定義研究領域にまたがって、共有されたシード文献から37,802の科学的アイデアを生成する。 得られたAIのアイデアを、同じ研究分野の人間による論文、同じシード文学から生まれてくる人間研究、そしてシード文学自体と比較する。 全体として、現在のAI研究エージェントは、科学的探索を広げるよりも、局所的な実験に適しているように見える。
  論文  参考訳（メタデータ） (2026-05-27T03:26:43Z)
• Bias is a Math Problem, AI Bias is a Technical Problem: 10-year Literature Review of AI/LLM Bias Research Reveals Narrow [Gender-Centric] Conceptions of 'Bias', and Academia-Industry Gap [0.1534667887016089]
  ACL、FAccT、NeurIPS、AAAIの4つの主要な会場/組織において、AI/LLMバイアスをカバーする研究のレビューを行う。 189件の論文を通じて、偏見研究のパターンと、それらが一般的に注目する人間のアイデンティティの軸について明らかにした。 今後AI/LLMフェアネス研究への推奨で締めくくります。
  論文  参考訳（メタデータ） (2025-08-14T20:53:33Z)
• The Ideation-Execution Gap: Execution Outcomes of LLM-Generated versus Human Research Ideas [90.26363107905344]
  良いアイデアは単に斬新なものではなく、実行後により良い研究がもたらされるべきである。 AIが生み出すアイデアがより良い研究成果をもたらすかどうかをテストするために、我々は実行研究を行う。 実行前後の同じアイデアのレビュースコアを比較すると、LLM生成のアイデアのスコアは専門家によるアイデアよりも大幅に減少する。
  論文  参考訳（メタデータ） (2025-06-25T19:47:23Z)
• Predicting Empirical AI Research Outcomes with Language Models [27.148683265085012]
  AI研究における有望なアイデアの多くは提供されないが、その検証には相当な人的労力と計算が必要だ。 このタスクの最初のベンチマークを構築し、LMと人間の専門家を比較します。 私たちはカンファレンス論文からアイデアと実験結果を取り除き、ベースモデルがテストの切り離し日後に公表された1,585人の人間による検証されたアイデアペアを生成しました。 我々は,精巧なGPT-4.1と紙検索エージェントを組み合わせたシステムを開発し,25人の人間専門家を雇って比較する。 NLP領域では、我々のシステムは人間の専門家を64.4%対48.で破る。
  論文  参考訳（メタデータ） (2025-06-01T02:46:31Z)
• Chain of Ideas: Revolutionizing Research Via Novel Idea Development with LLM Agents [64.64280477958283]
  科学文献の急激な増加は、研究者が最近の進歩と意義ある研究方向を見極めるのを困難にしている。 大規模言語モデル(LLM)の最近の発展は、新しい研究のアイデアを自動生成するための有望な道のりを示唆している。 本研究では, チェーン構造に関連文献を整理し, 研究領域の進展を効果的に反映する, LLMベースのエージェントであるChain-of-Ideas(CoI)エージェントを提案する。
  論文  参考訳（メタデータ） (2024-10-17T03:26:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。