論文の概要: CHIME: LLM-Assisted Hierarchical Organization of Scientific Studies for Literature Review Support
- arxiv url: http://arxiv.org/abs/2407.16148v1
- Date: Tue, 23 Jul 2024 03:18:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 18:45:39.639494
- Title: CHIME: LLM-Assisted Hierarchical Organization of Scientific Studies for Literature Review Support
- Title（参考訳）: CHIME:LLMによる学術研究の階層的組織化と文献レビュー支援
- Authors: Chao-Chun Hsu, Erin Bransom, Jenna Sparks, Bailey Kuehl, Chenhao Tan, David Wadden, Lucy Lu Wang, Aakanksha Naik,
- Abstract要約: 文献のレビューでは、研究者が大量の情報を合成することを必要としており、科学文献が拡大するにつれてますます困難になっている。
本研究では,学術研究の階層的な組織を創出し,研究者の文献レビューを支援するLLMの可能性について検討する。
- 参考スコア（独自算出の注目度）: 31.327873791724326
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Literature review requires researchers to synthesize a large amount of information and is increasingly challenging as the scientific literature expands. In this work, we investigate the potential of LLMs for producing hierarchical organizations of scientific studies to assist researchers with literature review. We define hierarchical organizations as tree structures where nodes refer to topical categories and every node is linked to the studies assigned to that category. Our naive LLM-based pipeline for hierarchy generation from a set of studies produces promising yet imperfect hierarchies, motivating us to collect CHIME, an expert-curated dataset for this task focused on biomedicine. Given the challenging and time-consuming nature of building hierarchies from scratch, we use a human-in-the-loop process in which experts correct errors (both links between categories and study assignment) in LLM-generated hierarchies. CHIME contains 2,174 LLM-generated hierarchies covering 472 topics, and expert-corrected hierarchies for a subset of 100 topics. Expert corrections allow us to quantify LLM performance, and we find that while they are quite good at generating and organizing categories, their assignment of studies to categories could be improved. We attempt to train a corrector model with human feedback which improves study assignment by 12.6 F1 points. We release our dataset and models to encourage research on developing better assistive tools for literature review.
- Abstract（参考訳）: 文献のレビューでは、研究者が大量の情報を合成することを必要としており、科学文献が拡大するにつれてますます困難になっている。
本研究では,学術研究の階層的な組織を創出し,研究者の文献レビューを支援するLLMの可能性について検討する。
階層的な組織を、ノードがトピックのカテゴリを参照し、各ノードがそのカテゴリに割り当てられた研究にリンクするツリー構造として定義する。
一連の研究から階層を生成するための単純LLMベースのパイプラインは、有望だが不完全な階層を生み出し、バイオメディシンに焦点を当てたこのタスクのエキスパートキュレートされたデータセットであるCHIMEの収集を動機付けています。
階層をスクラッチから構築することの困難さと時間を要する性質を考えると、私たちは、専門家がLLM生成階層内のエラー(カテゴリと研究課題のリンク)を訂正する「ループ内プロセス」を使います。
CHIMEには、472のトピックをカバーする2,174のLLM生成階層と、100のトピックのサブセットに関する専門家修正階層が含まれている。
専門家による補正により,LSMの性能の定量化が可能となり,カテゴリの生成と編成が極めて優れている一方で,カテゴリへの研究の割り当ても改善される可能性が示唆された。
人間のフィードバックで補正モデルを訓練し,12.6F1ポイントの学習課題を改善する。
文献レビューのためのより良い支援ツールの開発を奨励するためのデータセットとモデルをリリースする。
関連論文リスト
- Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。
生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。
我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
論文 参考訳（メタデータ） (2024-10-02T20:48:28Z) - HiReview: Hierarchical Taxonomy-Driven Automatic Literature Review Generation [15.188580557890942]
HiReviewは階層的な分類による自動文献レビュー生成のための新しいフレームワークである。
大規模な実験により、HiReviewは最先端の手法よりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2024-10-02T13:02:03Z) - LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。
本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。
私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
論文 参考訳（メタデータ） (2024-06-24T01:30:22Z) - SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。
既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。
モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
論文 参考訳（メタデータ） (2024-06-17T06:48:31Z) - ResearchArena: Benchmarking Large Language Models' Ability to Collect and Organize Information as Research Agents [21.17856299966841]
本研究では,学術調査における大規模言語モデル(LLM)の評価のためのベンチマークであるResearchArenaを紹介する。
これらの機会を養うため、12万のフルテキスト学術論文と7.9Kのサーベイ論文の環境を構築した。
論文 参考訳（メタデータ） (2024-06-13T03:26:30Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。
SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
論文 参考訳（メタデータ） (2024-06-10T21:22:08Z) - Evaluating Large Language Models for Structured Science Summarization in the Open Research Knowledge Graph [18.41743815836192]
本稿では,構造化科学要約のプロパティを自動提案するために,Large Language Models (LLMs) を提案する。
本研究は,ORKGが手作業でキュレートした特性と,前述の最先端のLCMによって生成された特性とを総合的に比較した。
全体として、LLMは科学を構造化するためのレコメンデーションシステムとしての可能性を示しているが、科学的タスクや人間の専門知識の模倣との整合性を改善するために、さらなる微調整が推奨されている。
論文 参考訳（メタデータ） (2024-05-03T14:03:04Z) - ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。
ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。
我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
論文 参考訳（メタデータ） (2024-04-11T13:36:29Z) - Provable Hierarchy-Based Meta-Reinforcement Learning [50.17896588738377]
HRLをメタRL設定で解析し、下流タスクで使用するメタトレーニング中に学習者が潜在階層構造を学習する。
我々は、この自然階層の標本効率の回復を保証し、抽出可能な楽観主義に基づくアルゴリズムとともに「多様性条件」を提供する。
我々の境界は、時間的・状態的・行動的抽象化などのHRL文献に共通する概念を取り入れており、我々の設定と分析が実際にHRLの重要な特徴を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-10-18T17:56:02Z) - COVID-19 Literature Topic-Based Search via Hierarchical NMF [29.04869940568828]
新型コロナウイルス関連の科学文献のデータセットが収集される。
階層的非負のマトリックス因子化は、新型コロナウイルスに関する文献を木構造に整理するために用いられる。
論文 参考訳（メタデータ） (2020-09-07T05:45:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。