論文の概要: RATIO: A Benchmark for Retrieval Across Typed Ideation Operations in Scientific Literature

• arxiv url: http://arxiv.org/abs/2608.27394v2
• Date: Mon, 31 Aug 2026 15:28:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 15:47:04.327558
• Title: RATIO: A Benchmark for Retrieval Across Typed Ideation Operations in Scientific Literature
• Title（参考訳）: RATIO: 科学文献における型付き観念行動の検索ベンチマーク
• Abstract要約: RATIOは3つの操作で関連性を定義する大規模なベンチマークである。 RATIOはCS文学にまたがる数百万のフルテキスト科学論文から構築されている。
• 参考スコア（独自算出の注目度）: 7.529978082645584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieved scientific literature can serve as inspiration for both human and AI scientists. Inspiration can take different forms: prior work may directly suggest how to address a problem, or surface directions at different levels of abstraction - zooming out to a more general view or zooming in to a concrete realization. We introduce RATIO (Retrieval Across Typed Ideation Operations), a large-scale benchmark in which relevance is defined by three operations which we name ideation moves: Address retrieves potential approaches for stated problems, Broaden retrieves more general formulations, and Specify retrieves concrete instantiations. RATIO is constructed from millions of full-text scientific papers across CS literature via a general recipe that extends discourse-marker distant supervision - previously used only for classification - to corpus-scale retrieval, combined with extensive LLM and human vetting. Experiments show that operation-specific fine-tuning substantially boosts retrievers but leaves much room for further improvements. RATIO provides a scalable training and evaluation framework for retrieval components that support literature-grounded ideation, opening up new research avenues on scientific inspiration retrieval.
• Abstract（参考訳）: 回収された科学文献は、人間とAI科学者の両方にインスピレーションを与えることができる。 事前の作業では、問題にどのように対処するかを直接提案したり、抽象的なレベルで表面的な方向を指示したり、より一般的な見方にズームアウトしたり、具体的な実現にズームインしたりできます。 本稿では,RATIO (Retrieval Across Typed Ideation Operations) を大規模ベンチマークとして導入し,その妥当性を3つの操作で定義する。 RATIOはCS文学にまたがる数百万のフルテキストの科学論文から構築され、談話マーカーの遠隔監視(以前は分類にしか使われていなかった)をコーパススケールの検索に拡張し、広範囲のLLMと人間の精査と組み合わせて構築されている。 実験により、操作固有の微調整はレトリバーを大幅に向上させるが、さらなる改善の余地はたくさんあることが示されている。 RATIOは、文学的発想をサポートする検索コンポーネントのためのスケーラブルなトレーニングおよび評価フレームワークを提供し、科学的インスピレーション検索に関する新たな研究の道を開く。

関連論文リスト

• Extending AI for Research to the Humanities: A Multi-Agent Framework for Evidence-Grounded Scholarship [16.735903349022777]
  SPIRE(Scholarly-Primitives-Inspired Research Engine)は、エビデンスに基づく人文科学研究のためのマルチエージェントフレームワークである。 複数スケールのクローズドリーダー基板上での協調エージェントの役割として、人文操作を繰り返す。 答えの正確性、深さ、カバレッジ、証拠の質について、より高いブラインド・ジャッジスコアが与えられる。
  論文  参考訳（メタデータ） (2026-05-29T07:33:29Z)
• CASPER: Concept-integrated Sparse Representation for Scientific Retrieval [17.680327408224237]
  本稿では,トークンとキーフレーズを表現単位とする科学検索のためのスパース検索モデルであるCASPERを提案する。 CASPERはキーフレーズ生成タスクに効果的に利用でき、確立されたCopyRNNとの競合性能を実現する。
  論文  参考訳（メタデータ） (2025-08-18T23:00:57Z)
• Can LLMs Generate Tabular Summaries of Science Papers? Rethinking the Evaluation Protocol [83.90769864167301]
  文献レビュー表は、科学論文の集合を要約し比較するために欠かせないものである。 学術論文の収集にあたり,ユーザの情報ニーズを最大限に満たす表を作成するタスクについて検討する。 我々の貢献は、現実世界で遭遇する3つの重要な課題に焦点を当てている: (i)ユーザープロンプトは、しばしば未特定である; (ii)検索された候補論文は、しばしば無関係な内容を含む; (iii)タスク評価は、浅いテキスト類似性技術を超えて進むべきである。
  論文  参考訳（メタデータ） (2025-04-14T14:52:28Z)
• Large Language Model Can Be a Foundation for Hidden Rationale-Based Retrieval [12.83513794686623]
  本稿では,隠れ合理性検索という,より困難なタイプの検索タスクを提案し,検討する。 このような問題に対処するためには、命令調整付き大規模言語モデル(LLM)とクロスエンコーダアーキテクチャが妥当な選択である可能性がある。 我々は、RaHoReによってこの検索フレームワークを命名し、感情支援会話(ESC)におけるゼロショットおよび微調整性能上の優位性を検証した。
  論文  参考訳（メタデータ） (2024-12-21T13:19:15Z)
• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
  ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。 ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。 我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-11T13:36:29Z)
• Retrieval Augmentation for Commonsense Reasoning: A Unified Approach [64.63071051375289]
  検索強化コモンセンス推論(RACo)の統一的枠組みを提案する。 提案するRACoは,他の知識強化手法よりも優れる。
  論文  参考訳（メタデータ） (2022-10-23T23:49:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。