論文の概要: Improving Research Idea Generation Through Data: An Empirical Investigation in Social Science

• arxiv url: http://arxiv.org/abs/2505.21396v1
• Date: Tue, 27 May 2025 16:23:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.797565
• Title: Improving Research Idea Generation Through Data: An Empirical Investigation in Social Science
• Title（参考訳）: データによる研究思想生成の改善 : 社会科学における実証的研究
• Authors: Xiao Liu, Xinyi Dong, Xinyang Gao, Yansong Feng, Xun Pang,
• Abstract要約: 本稿では, アイデア生成過程において, 関連データを用いた大規模言語モデルの拡張が, 生成したアイデアの品質をいかに向上させるかを検討する。 我々は,社会科学領域,特に気候交渉のテーマで実験を行い,メタデータが生成したアイデアの実現可能性を20%向上させることを見出した。 人間の研究では、LCMが生成したアイデアと関連するデータと検証プロセスが、研究者により高い品質で研究アイデアを提案するよう促すことが示されている。
• 参考スコア（独自算出の注目度）: 25.857554476782827
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advancements in large language models (LLMs) have shown promise in generating novel research ideas. However, these ideas often face challenges related to feasibility and expected effectiveness. This paper explores how augmenting LLMs with relevant data during the idea generation process can enhance the quality of generated ideas. We introduce two ways of incorporating data: (1) providing metadata during the idea generation stage to guide LLMs toward feasible directions, and (2) adding automatic validation during the idea selection stage to assess the empirical plausibility of hypotheses within ideas. We conduct experiments in the social science domain, specifically with climate negotiation topics, and find that metadata improves the feasibility of generated ideas by 20%, while automatic validation improves the overall quality of selected ideas by 7%. A human study shows that LLM-generated ideas, along with their related data and validation processes, inspire researchers to propose research ideas with higher quality. Our work highlights the potential of data-driven research idea generation, and underscores the practical utility of LLM-assisted ideation in real-world academic settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、新しい研究のアイデアを生み出す上で有望であることを示している。 しかしながら、これらのアイデアは、実現可能性と期待される有効性に関する課題に直面することが多い。 本稿では、アイデア生成過程において、LLMを関連データで拡張することにより、生成したアイデアの品質を高める方法について検討する。 1) アイデア生成段階にメタデータを提供し, LLMを実現可能な方向へ導くこと, (2) アイデア選択段階に自動検証を加えて, アイデア内の仮説の実証的妥当性を評価すること, の2つの方法を紹介する。 我々は,社会科学領域,特に気候交渉に関する実験を行い,メタデータが生成したアイデアの有効性を20%向上させるのに対して,自動検証は選択したアイデアの全体的な品質を7%向上させる。 人間の研究では、LCMが生成したアイデアと関連するデータと検証プロセスが、研究者により高い品質で研究アイデアを提案するよう促すことが示されている。 我々の研究は、データ駆動型研究アイデア生成の可能性を強調し、現実の学術的環境におけるLLM支援概念の実用的有用性を強調している。

関連論文リスト

• IdeaBench: Benchmarking Large Language Models for Research Idea Generation [19.66218274796796]
  大規模言語モデル(LLM)は、人々が人工知能(AI)システムと対話する方法を変革した。 包括的データセットと評価フレームワークを含むベンチマークシステムであるIdeanBenchを提案する。 私たちのデータセットは、さまざまな影響力のある論文のタイトルと要約と、参照された作品で構成されています。 まず、GPT-4oを用いて、新規性や実現可能性などのユーザ固有の品質指標に基づいて、アイデアをランク付けし、スケーラブルなパーソナライズを可能にする。
  論文  参考訳（メタデータ） (2024-10-31T17:04:59Z)
• Chain of Ideas: Revolutionizing Research Via Novel Idea Development with LLM Agents [64.64280477958283]
  科学文献の急激な増加は、研究者が最近の進歩と意義ある研究方向を見極めるのを困難にしている。 大規模言語モデル(LLM)の最近の発展は、新しい研究のアイデアを自動生成するための有望な道のりを示唆している。 本研究では, チェーン構造に関連文献を整理し, 研究領域の進展を効果的に反映する, LLMベースのエージェントであるChain-of-Ideas(CoI)エージェントを提案する。
  論文  参考訳（メタデータ） (2024-10-17T03:26:37Z)
• Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers [90.26363107905344]
  大型言語モデル(LLM)は、科学的な発見を加速する可能性についての楽観主義を喚起した。 LLMシステムは、新しい専門家レベルのアイデアを生み出すための第一歩を踏み出すことができるという評価はない。
  論文  参考訳（メタデータ） (2024-09-06T08:25:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。