論文の概要: CHIME: LLM-Assisted Hierarchical Organization of Scientific Studies for Literature Review Support
- arxiv url: http://arxiv.org/abs/2407.16148v1
- Date: Tue, 23 Jul 2024 03:18:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 18:45:39.639494
- Title: CHIME: LLM-Assisted Hierarchical Organization of Scientific Studies for Literature Review Support
- Title(参考訳): CHIME:LLMによる学術研究の階層的組織化と文献レビュー支援
- Authors: Chao-Chun Hsu, Erin Bransom, Jenna Sparks, Bailey Kuehl, Chenhao Tan, David Wadden, Lucy Lu Wang, Aakanksha Naik,
- Abstract要約: 文献のレビューでは、研究者が大量の情報を合成することを必要としており、科学文献が拡大するにつれてますます困難になっている。
本研究では,学術研究の階層的な組織を創出し,研究者の文献レビューを支援するLLMの可能性について検討する。
- 参考スコア(独自算出の注目度): 31.327873791724326
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Literature review requires researchers to synthesize a large amount of information and is increasingly challenging as the scientific literature expands. In this work, we investigate the potential of LLMs for producing hierarchical organizations of scientific studies to assist researchers with literature review. We define hierarchical organizations as tree structures where nodes refer to topical categories and every node is linked to the studies assigned to that category. Our naive LLM-based pipeline for hierarchy generation from a set of studies produces promising yet imperfect hierarchies, motivating us to collect CHIME, an expert-curated dataset for this task focused on biomedicine. Given the challenging and time-consuming nature of building hierarchies from scratch, we use a human-in-the-loop process in which experts correct errors (both links between categories and study assignment) in LLM-generated hierarchies. CHIME contains 2,174 LLM-generated hierarchies covering 472 topics, and expert-corrected hierarchies for a subset of 100 topics. Expert corrections allow us to quantify LLM performance, and we find that while they are quite good at generating and organizing categories, their assignment of studies to categories could be improved. We attempt to train a corrector model with human feedback which improves study assignment by 12.6 F1 points. We release our dataset and models to encourage research on developing better assistive tools for literature review.
- Abstract(参考訳): 文献のレビューでは、研究者が大量の情報を合成することを必要としており、科学文献が拡大するにつれてますます困難になっている。
本研究では,学術研究の階層的な組織を創出し,研究者の文献レビューを支援するLLMの可能性について検討する。
階層的な組織を、ノードがトピックのカテゴリを参照し、各ノードがそのカテゴリに割り当てられた研究にリンクするツリー構造として定義する。
一連の研究から階層を生成するための単純LLMベースのパイプラインは、有望だが不完全な階層を生み出し、バイオメディシンに焦点を当てたこのタスクのエキスパートキュレートされたデータセットであるCHIMEの収集を動機付けています。
階層をスクラッチから構築することの困難さと時間を要する性質を考えると、私たちは、専門家がLLM生成階層内のエラー(カテゴリと研究課題のリンク)を訂正する「ループ内プロセス」を使います。
CHIMEには、472のトピックをカバーする2,174のLLM生成階層と、100のトピックのサブセットに関する専門家修正階層が含まれている。
専門家による補正により,LSMの性能の定量化が可能となり,カテゴリの生成と編成が極めて優れている一方で,カテゴリへの研究の割り当ても改善される可能性が示唆された。
人間のフィードバックで補正モデルを訓練し,12.6F1ポイントの学習課題を改善する。
文献レビューのためのより良い支援ツールの開発を奨励するためのデータセットとモデルをリリースする。
関連論文リスト
- Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳(メタデータ) (2024-07-17T20:01:21Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。
3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。
そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
論文 参考訳(メタデータ) (2024-07-08T17:27:17Z) - LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。
本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。
私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
論文 参考訳(メタデータ) (2024-06-24T01:30:22Z) - Enhancing Biomedical Knowledge Retrieval-Augmented Generation with Self-Rewarding Tree Search and Proximal Policy Optimization [50.26966969163348]
大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。
既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。
モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
論文 参考訳(メタデータ) (2024-06-17T06:48:31Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。
SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
論文 参考訳(メタデータ) (2024-06-10T21:22:08Z) - Enriched BERT Embeddings for Scholarly Publication Classification [0.13654846342364302]
NSLP 2024 FoRC Task Iは、競争として組織されたこの課題に対処する。
目的は、ある論文に対する研究分野の分類法であるOpen Research Knowledge Graph (ORKG) から、123の事前定義されたクラスのうちの1つを予測することができる分類器を開発することである。
論文 参考訳(メタデータ) (2024-05-07T09:05:20Z) - Evaluating Large Language Models for Structured Science Summarization in the Open Research Knowledge Graph [18.41743815836192]
本稿では,構造化科学要約のプロパティを自動提案するために,Large Language Models (LLMs) を提案する。
本研究は,ORKGが手作業でキュレートした特性と,前述の最先端のLCMによって生成された特性とを総合的に比較した。
全体として、LLMは科学を構造化するためのレコメンデーションシステムとしての可能性を示しているが、科学的タスクや人間の専門知識の模倣との整合性を改善するために、さらなる微調整が推奨されている。
論文 参考訳(メタデータ) (2024-05-03T14:03:04Z) - Understanding Survey Paper Taxonomy about Large Language Models via
Graph Representation Learning [2.88268082568407]
我々は,調査論文を分類学に自動的に割り当てる手法を開発した。
本研究は,共分類グラフ上でのグラフ構造情報の活用が言語モデルよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-02-16T02:21:59Z) - A Bibliometric Review of Large Language Models Research from 2017 to
2023 [1.4190701053683017]
LLM(Large Language Model)は、自然言語処理(NLP)タスクにおいて優れた性能を示す言語モデルである。
本稿は,LLM研究の現在の姿を知るための研究者,実践者,政策立案者のロードマップとして機能する。
論文 参考訳(メタデータ) (2023-04-03T21:46:41Z) - Provable Hierarchy-Based Meta-Reinforcement Learning [50.17896588738377]
HRLをメタRL設定で解析し、下流タスクで使用するメタトレーニング中に学習者が潜在階層構造を学習する。
我々は、この自然階層の標本効率の回復を保証し、抽出可能な楽観主義に基づくアルゴリズムとともに「多様性条件」を提供する。
我々の境界は、時間的・状態的・行動的抽象化などのHRL文献に共通する概念を取り入れており、我々の設定と分析が実際にHRLの重要な特徴を捉えていることを示唆している。
論文 参考訳(メタデータ) (2021-10-18T17:56:02Z) - COVID-19 Literature Topic-Based Search via Hierarchical NMF [29.04869940568828]
新型コロナウイルス関連の科学文献のデータセットが収集される。
階層的非負のマトリックス因子化は、新型コロナウイルスに関する文献を木構造に整理するために用いられる。
論文 参考訳(メタデータ) (2020-09-07T05:45:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。