論文の概要: Tracing the Influence of Retrieved Literature on Scientific Ideation in LLMs
- arxiv url: http://arxiv.org/abs/2610.39060v2
- Date: Fri, 30 Oct 2026 17:56:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.411454
- Title: Tracing the Influence of Retrieved Literature on Scientific Ideation in LLMs
- Title(参考訳): LLMの科学的観念に及ぼす検索文学の影響の追跡
- Abstract要約: 我々は,共有生成プロトコルの下で,5つの検索戦略とNo Literatureベースラインを比較した。
JSDに基づく帰属手法を適用し,個々の論文が各アイデアのモチベーション,コアアイデア,アプローチ,検証に与える影響を追究する。
- 参考スコア(独自算出の注目度): 22.15133442687285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used to generate research ideas from scientific literature. Existing systems combine literature retrieval with search, generation, and refinement, making it difficult to determine how the retrieval strategy itself shapes the ideas generated. We isolate this contribution by comparing five retrieval strategies and a No Literature baseline under a shared generation protocol, using 45,000 ideas across 15 machine learning topics and ten open-weight models. Relative to no literature basline, all five retrieval strategies reduce diversity among ideas generated from the same set of papers by $5.6\%$--$17.9\%$, while most increase diversity by $10.2\%$--$18.1\%$ when ideas from different sets are pooled. Effects on idea quality and novelty are modest on average but vary across topics. We further apply a JSD-based attribution method to trace the influence of individual input papers on each idea's motivation, core idea, approach, and validation. In $79.3\%$ of ideas, only one or two distinct papers receive the highest attribution scores across these four parts. These leading sources often recur across ideas generated from the same set of papers, and groups with more varied source attribution contain more diverse ideas ($r=0.70$). These findings motivate various sets of literature and the use of attribution to guide the choice of sources for subsequent ideas.
- Abstract(参考訳): 大規模言語モデル(LLM)は、科学文献から研究のアイデアを生み出すためにますます使われてきている。
既存のシステムでは、文献検索と検索、生成、洗練を組み合わせ、検索戦略自体が生成したアイデアをどう形成するかを判断することは困難である。
15の機械学習トピックと10のオープンウェイトモデルにまたがる45,000のアイデアを用いて、共有生成プロトコルの下で5つの検索戦略とNo Literatureベースラインを比較して、このコントリビューションを分離する。
文献のベースラインが存在しないのに対して、全ての5つの検索戦略は、同じ論文の集合から生成されるアイデアの多様性を5.6\%$--17.9\%$で減らし、ほとんどは異なる集合からのアイデアがプールされたときに10.2\%$--18.1\%$で減らしている。
アイデアの品質とノベルティへの影響は平均的には控えめだが、トピックによって異なる。
さらに、JSDに基づく属性法を適用し、個々の入力論文が各アイデアのモチベーション、コアアイデア、アプローチ、バリデーションに与える影響をトレースする。
$79.3\%のアイデアでは、これらの4つの部分で最高の属性スコアを得るのは1つまたは2つの異なる論文のみである。
これらの主要な情報源は、しばしば同じ論文の集合から生成されたアイデアをまたいで再帰し、より多様なソース属性を持つグループはより多様なアイデア(r=0.70$)を含んでいる。
これらの知見は、様々な文献の集合と属性の使用を動機付け、その後のアイデアの源泉の選択を導く。
関連論文リスト
- IdeaAnchor: Teaching LLMs to Turn Literature into Research Ideas [57.16473882316445]
本稿では,LLMの学習パラダイムであるIdeanAnchorを紹介した。
それぞれのIdeanAnchorインスタンスは、各入力紙がどのようにして、機能的役割、関係性、ターゲット合成基準を含む、成功したアイデアに合成されるべきかをエンコードする。
論文 参考訳(メタデータ) (2026-10-06T17:59:01Z) - ResearchStudio-Idea: An Evidence-Grounded Research-Ideation Skill Suite from ML Conference Outcomes [34.230808196436676]
我々は、ResearchStudio-Ideaを、この最初の研究アイデアのための再利用可能なスキルスイートとして紹介する。
このスイートには、スタンドアロンのマルチソース文献検索スキルであるPaper-Searchと、新規性主張のためのスタンドアロンの先行技術衝突チェックツールであるScoop-Checkが含まれている。
IdeaSparkは、エビデンスグラウンディング、パターン誘導生成、衝突検索、監査、アイデアカードレンダリングを構成するエンドツーエンドのスキルである。
論文 参考訳(メタデータ) (2026-07-05T17:59:43Z) - Measuring the Gap Between Human and LLM Research Ideas [63.27812052187884]
高品質な人間研究論文の構想評価フレームワークを構築した。
それぞれの論文に対して、我々は、その中核となるアイデアにインスピレーションを与えたであろう、近縁な先行研究の小さなセットをリバースエンジニアリングする。
本稿では、その機会パターンと研究パラダイムにより、それぞれのアイデアをプロファイルするために、2軸のリサーチテイスト分類を導入する。
論文 参考訳(メタデータ) (2026-07-01T17:59:56Z) - Enhancing Research Idea Generation through Combinatorial Innovation and Multi-Agent Iterative Search Strategies [9.063254770910948]
本研究では,複合双対的革新理論に触発されたマルチエージェント反復計画探索戦略を提案する。
このフレームワークは、反復的な知識探索とLLMベースのマルチエージェントシステムを組み合わせて、研究のアイデアを生成し、評価し、再定義する。
自然言語処理領域における実験により,提案手法は多様性と新規性の両方において最先端のベースラインを上回っていることが示された。
論文 参考訳(メタデータ) (2026-04-22T13:31:12Z) - Alien Science: Sampling Coherent but Cognitively Unavailable Research Directions from Idea Atoms [53.907293349123506]
大規模な言語モデルは、しばしば、現在のコミュニティにとって一貫性があり、無関心なアイデアを生み出すのに失敗する。
我々は、このギャップを認知的可用性によって形式化し、研究の方向性が典型的な研究者によって自然に提案される可能性について述べる。
我々は、原子の集合が実行可能な方向を構成するかどうかをスコアするコヒーレンスモデルと、その方向が生成される確率をスコアするアベイラビリティモデルという2つの補完モデルを学ぶ。
論文 参考訳(メタデータ) (2026-03-01T13:05:19Z) - Enhancing Academic Paper Recommendations Using Fine-Grained Knowledge Entities and Multifaceted Document Embeddings [6.834689860716384]
本稿では,新しい学術論文レコメンデーション手法を提案する。
それは、新しい種類のきめ細かい知識エンティティを統合することで、多次元情報を埋め込む。
本手法はベースラインモデルより優れ,平均精度は27.3%である。
論文 参考訳(メタデータ) (2026-01-27T11:55:10Z) - Deep Ideation: Designing LLM Agents to Generate Novel Research Ideas on Scientific Concept Network [9.317340414316446]
本稿では,キーワード共起関係と文脈関係をキャプチャする科学ネットワークを統合する枠組みを提案する。
現実のレビュアーのフィードバックに基づいて訓練された批評家エンジンは、アイデアの新規性と実現可能性に関する継続的なフィードバックを提供することによって、プロセスをガイドする。
当社のアプローチでは,他の手法に比べて10.67%の品質向上を実現しています。
論文 参考訳(メタデータ) (2025-11-04T04:00:20Z) - SciPIP: An LLM-based Scientific Paper Idea Proposer [30.670219064905677]
SciPIPは,文献検索とアイデア生成の両面での改善を通じて,科学的アイデアの提案を強化するために設計された,革新的なフレームワークである。
自然言語処理やコンピュータビジョンなど,さまざまな領域で実施した実験では,SciPIPが革新的で有用なアイデアを多数生成する能力を示した。
論文 参考訳(メタデータ) (2024-10-30T16:18:22Z) - Good Idea or Not, Representation of LLM Could Tell [86.36317971482755]
我々は、大規模言語モデルの知識を活用し、科学的アイデアのメリットを評価することを目的としたアイデアアセスメントに焦点をあてる。
我々は、このタスクに対する様々なアプローチのパフォーマンスを訓練し評価するために、細心の注意を払って設計された、フルテキストを持つ約4万の原稿からベンチマークデータセットをリリースする。
その結果, 大規模言語モデルの表現は, 生成出力よりもアイデアの価値を定量化する可能性が高いことが示唆された。
論文 参考訳(メタデータ) (2024-09-07T02:07:22Z) - ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。
ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。
我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
論文 参考訳(メタデータ) (2024-04-11T13:36:29Z) - MIReAD: Simple Method for Learning High-quality Representations from
Scientific Documents [77.34726150561087]
論文の高品質な表現を学習する簡単な方法であるMIREADを提案する。
私たちは、2000以上のジャーナルクラスで50万以上のPubMedとarXivの抽象クラスでMIREADをトレーニングします。
論文 参考訳(メタデータ) (2023-05-07T03:29:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。