論文の概要: ResearchArena: Benchmarking Large Language Models' Ability to Collect and Organize Information as Research Agents

• arxiv url: http://arxiv.org/abs/2406.10291v2
• Date: Fri, 14 Feb 2025 17:37:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 18:05:51.390450
• Title: ResearchArena: Benchmarking Large Language Models' Ability to Collect and Organize Information as Research Agents
• Title（参考訳）: ResearchArena: 大規模言語モデルの学習エージェントとしての情報の収集と整理能力のベンチマーク
• Authors: Hao Kang, Chenyan Xiong,
• Abstract要約: 本研究では,学術調査における大規模言語モデル(LLM)の評価のためのベンチマークであるResearchArenaを紹介する。 これらの機会を養うため、12万のフルテキスト学術論文と7.9Kのサーベイ論文の環境を構築した。
• 参考スコア（独自算出の注目度）: 21.17856299966841
• License:
• Abstract: Large language models (LLMs) excel across many natural language processing tasks but face challenges in domain-specific, analytical tasks such as conducting research surveys. This study introduces ResearchArena, a benchmark designed to evaluate LLMs' capabilities in conducting academic surveys$\unicode{x2013}$a foundational step in academic research. ResearchArena models the process in three stages: (1) information discovery, identifying relevant literature; (2) information selection, evaluating papers' relevance and impact; and (3) information organization, structuring knowledge into hierarchical frameworks such as mind-maps. Notably, mind-map construction is treated as a bonus task, reflecting its supplementary role in survey-writing. To support these evaluations, we construct an offline environment of 12M full-text academic papers and 7.9K survey papers. To ensure ethical compliance, we do not redistribute copyrighted materials; instead, we provide code to construct the environment from the Semantic Scholar Open Research Corpus (S2ORC). Preliminary evaluations reveal that LLM-based approaches underperform compared to simpler keyword-based retrieval methods, underscoring significant opportunities for advancing LLMs in autonomous research.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くの自然言語処理タスクを網羅するが、調査実施などのドメイン固有の分析タスクでは課題に直面している。 本研究では,学術調査におけるLLMの能力を評価するためのベンチマークであるResearchArenaを紹介した。 ResearchArenaは,(1)情報発見,関連文献の同定,(2)情報選択,論文の関連性および影響評価,(3)知識をマインドマップなどの階層的な枠組みに構造化する情報組織,の3段階をモデル化する。 特に、マインドマップ構築は、調査書の補足的な役割を反映してボーナスタスクとして扱われる。 これらの評価を支援するために,12Mのフルテキスト学術論文と7.9Kの調査論文のオフライン環境を構築した。 倫理的コンプライアンスを確保するため、我々は著作権のある資料を再配布するのではなく、セマンティック・スカラー・オープン・リサーチ・コーポレーション(S2ORC)から環境を構築するためのコードを提供している。 予備的な評価では、LLMベースのアプローチは、より単純なキーワードベースの検索手法に比べて性能が低く、自律的な研究においてLLMを前進させる重要な機会を過小評価している。

関連論文リスト

• AAAR-1.0: Assessing AI's Potential to Assist Research [34.88341605349765]
  AAAR-1.0は,大規模言語モデル(LLM)の性能を評価するためのベンチマークデータセットである。 AAAR-1.0は、以前のベンチマークと大きく異なる2つの主要な方法である: 第一に、明らかに研究指向で、深いドメインの専門知識を必要とするタスク、第二に、研究者が日々従事する主要なアクティビティを反映する研究者指向である。
  論文  参考訳（メタデータ） (2024-10-29T17:58:29Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• What is the Role of Large Language Models in the Evolution of Astronomy Research? [0.0]
  ChatGPTや他の最先端の大規模言語モデル(LLM)は、急速に複数のフィールドを変換している。 これらのモデルは、一般に広大なデータセットに基づいて訓練され、人間のようなテキスト生成能力を示す。
  論文  参考訳（メタデータ） (2024-09-30T12:42:25Z)
• Knowledge Navigator: LLM-guided Browsing Framework for Exploratory Search in Scientific Literature [48.572336666741194]
  本稿では,探索探索能力の向上を目的とした知識ナビゲータを提案する。 検索された文書を、名前と記述の科学トピックとサブトピックの、ナビゲート可能な2段階の階層に整理する。
  論文  参考訳（メタデータ） (2024-08-28T14:48:37Z)
• Reconciling Methodological Paradigms: Employing Large Language Models as Novice Qualitative Research Assistants in Talent Management Research [1.0949553365997655]
  本研究では,RAGに基づくLarge Language Models (LLMs) を用いた面接文の解析手法を提案する。 この研究の斬新さは、初歩的な研究助手として機能するLSMによって強化された研究調査をストラテジー化することにある。 以上の結果から, LLM拡張RAGアプローチは, 手動で生成したトピックと比較して, 興味のあるトピックを抽出できることが示唆された。
  論文  参考訳（メタデータ） (2024-08-20T17:49:51Z)
• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)
• SurveyAgent: A Conversational System for Personalized and Efficient Research Survey [50.04283471107001]
  本稿では,研究者にパーソナライズされた効率的な調査支援を目的とした会話システムであるSurveyAgentを紹介する。 SurveyAgentは3つの重要なモジュールを統合している。文書を整理するための知識管理、関連する文献を発見するための勧告、より深いレベルでコンテンツを扱うためのクエリ回答だ。 本評価は,研究活動の合理化におけるSurveyAgentの有効性を実証し,研究者の科学文献との交流を促進する能力を示すものである。
  論文  参考訳（メタデータ） (2024-04-09T15:01:51Z)
• Efficient Large Language Models: A Survey [45.39970635367852]
  この調査は、効率的な大規模言語モデル研究の体系的で包括的なレビューを提供する。 文献を3つの主要なカテゴリからなる分類学で整理し、異なるが相互に相互に繋がる効率的なLLMのトピックを網羅する。 この調査で特集された論文を整理するGitHubリポジトリも作成しました。
  論文  参考訳（メタデータ） (2023-12-06T19:18:42Z)
• If the Sources Could Talk: Evaluating Large Language Models for Research Assistance in History [1.3325600043256554]
  高度に専門化された学術資料からのベクトル埋め込みによる大規模言語モデルの拡大により,人文科学の歴史家や他の研究者が会話の方法論を利用できることを示す。 メタデータや全文検索など,デジタルカタログの確立された検索インタフェースと比較して,2種類のタスクのパフォーマンスに対して,LLMのよりリッチな会話スタイルを評価する。
  論文  参考訳（メタデータ） (2023-10-16T20:12:06Z)
• Wizard of Search Engine: Access to Information Through Conversations with Search Engines [58.53420685514819]
  我々は3つの側面からCISの研究を促進するために努力している。 目的検出(ID)、キーフレーズ抽出(KE)、行動予測(AP)、クエリ選択(QS)、通過選択(PS)、応答生成(RG)の6つのサブタスクでCIS用のパイプラインを定式化する。 検索エンジンのウィザード(WISE)と呼ばれるベンチマークデータセットをリリースし、CISのすべての側面について包括的かつ詳細な調査を可能にします。
  論文  参考訳（メタデータ） (2021-05-18T06:35:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。