論文の概要: Repurposing the scientific literature with vision-language models

• arxiv url: http://arxiv.org/abs/2502.19546v1
• Date: Wed, 26 Feb 2025 20:35:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:44.407948
• Title: Repurposing the scientific literature with vision-language models
• Title（参考訳）: 視覚言語モデルによる科学文献の再構築
• Authors: Anton Alyakin, Jaden Stryker, Daniel Alexander Alber, Karl L. Sangwon, Brandon Duderstadt, Akshay Save, David Kurland, Spencer Frome, Shrutika Singh, Jeff Zhang, Eunice Yang, Ki Yun Park, Cordelia Orillac, Aly A. Valliani, Sean Neifert, Albert Liu, Aneek Patel, Christopher Livia, Darryl Lau, Ilya Laufer, Peter A. Rozman, Eveline Teresa Hidalgo, Howard Riina, Rui Feng, Todd Hollon, Yindalon Aphinyanaphongs, John G. Golfinos, Laura Snyder, Eric Leuthardt, Douglas Kondziolka, Eric Karl Oermann,
• Abstract要約: 我々はNeurosurgery PublicationsからNuroPubsというマルチモーダルデータベースに23,000の記事を変換した。 教育では,ABNS書記試験のスタイルで89,587の質問を発生させた。 盲目無作為化対照試験では, CNS-Obsidian から GPT-4o への非誤認を診断的補助として示した。
• 参考スコア（独自算出の注目度）: 6.922433274682987
• License:
• Abstract: Research in AI for Science often focuses on using AI technologies to augment components of the scientific process, or in some cases, the entire scientific method; how about AI for scientific publications? Peer-reviewed journals are foundational repositories of specialized knowledge, written in discipline-specific language that differs from general Internet content used to train most large language models (LLMs) and vision-language models (VLMs). We hypothesized that by combining a family of scientific journals with generative AI models, we could invent novel tools for scientific communication, education, and clinical care. We converted 23,000 articles from Neurosurgery Publications into a multimodal database - NeuroPubs - of 134 million words and 78,000 image-caption pairs to develop six datasets for building AI models. We showed that the content of NeuroPubs uniquely represents neurosurgery-specific clinical contexts compared with broader datasets and PubMed. For publishing, we employed generalist VLMs to automatically generate graphical abstracts from articles. Editorial board members rated 70% of these as ready for publication without further edits. For education, we generated 89,587 test questions in the style of the ABNS written board exam, which trainee and faculty neurosurgeons found indistinguishable from genuine examples 54% of the time. We used these questions alongside a curriculum learning process to track knowledge acquisition while training our 34 billion-parameter VLM (CNS-Obsidian). In a blinded, randomized controlled trial, we demonstrated the non-inferiority of CNS-Obsidian to GPT-4o (p = 0.1154) as a diagnostic copilot for a neurosurgical service. Our findings lay a novel foundation for AI with Science and establish a framework to elevate scientific communication using state-of-the-art generative artificial intelligence while maintaining rigorous quality standards.
• Abstract（参考訳）: AI for Scienceの研究は、しばしば科学プロセスの構成要素を増やすためにAI技術を使うことに焦点を当てる。 Peer-reviewed Journalsは専門知識の基礎的なリポジトリであり、最も大きな言語モデル(LLM)や視覚言語モデル(VLM)のトレーニングに使用される一般的なインターネットコンテンツとは異なる、専門的な言語で記述されている。 我々は、科学雑誌の一群と生成AIモデルを組み合わせることで、科学コミュニケーション、教育、臨床医療のための新しいツールを発明できると仮定した。 我々は、Neurosurgery Publicationsから23,000の論文を、AIモデルを構築するための6つのデータセットを開発するために、1億3400万ワードと78,000の画像キャプチャペアからなるマルチモーダルデータベースであるNeuroPubsに変換しました。 より広範なデータセットやPubMedと比較すると,NeuroPubsの内容は神経外科固有の臨床文脈を独自に表していることがわかった。 出版にあたっては,ジェネラリストのVLMを用いて,記事からグラフィカルな抽象文を自動的に生成する。 編集委員は、そのうち70%が追加編集なしで出版できると評価した。 教育では,ABNS書記試験のスタイルで89,587の質問を発生させた。 我々はこれらの質問をカリキュラム学習プロセスと一緒に使用し、34億パラメータのVLM(CNS-Obsidian)をトレーニングしながら知識獲得を追跡した。 盲目無作為化対照試験において,脳神経外科手術における診断補助として CNS-Obsidian を GPT-4o (p = 0.1154) に非劣性を示した。 我々の研究は、AIと科学の新たな基盤を築き、厳格な品質基準を維持しつつ、最先端の人工人工知能を用いた科学コミュニケーションを高めるための枠組みを確立した。

関連論文リスト

• Transforming Science with Large Language Models: A Survey on AI-assisted Scientific Discovery, Experimentation, Content Generation, and Evaluation [58.064940977804596]
  多くの新しいAIモデルとツールが提案され、世界中の研究者や学者が研究をより効果的かつ効率的に実施できるようにすることを約束している。 これらのツールの欠点と誤用の可能性に関する倫理的懸念は、議論の中で特に顕著な位置を占める。
  論文  参考訳（メタデータ） (2025-02-07T18:26:45Z)
• BIOMEDICA: An Open Biomedical Image-Caption Archive, Dataset, and Vision-Language Models Derived from Scientific Literature [73.39593644054865]
  BIOMEDICAはスケーラブルでオープンソースのフレームワークで、PubMed Central Open Accessサブセット全体を抽出、注釈付け、シリアライズして、使いやすく、公開可能なデータセットにする。 われわれのフレームワークは600万以上の記事から2400万以上のユニークな画像テキストペアで包括的なアーカイブを生成する。 BMCA-CLIPは、ストリーミングを通じてBIOMEDICAデータセット上で継続的に事前トレーニングされたCLIPスタイルのモデルのスイートで、27TBのデータをローカルにダウンロードする必要がなくなる。
  論文  参考訳（メタデータ） (2025-01-13T09:58:03Z)
• The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery [14.465756130099091]
  本稿では,完全自動科学的発見のための最初の包括的枠組みについて述べる。 我々は、新しい研究アイデアを生成し、コードを書き、実験を実行し、結果を視覚化し、その結果を説明するThe AI Scientistを紹介します。 原則として、このプロセスは、人間の科学コミュニティのように行動しながら、オープンな方法でアイデアを反復的に発展させることができる。
  論文  参考訳（メタデータ） (2024-08-12T16:58:11Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• DARWIN Series: Domain Specific Large Language Models for Natural Science [20.864698325126735]
  本稿では,物理,化学,物質科学を中心に,自然科学に適したLLMのシリーズであるDARWINを紹介する。 我々は6万以上の命令データポイントを用いてモデルを微調整し、事実の正しさを強調した。 DARWINシリーズは、様々な科学的タスクに関する最先端の結果を達成するだけでなく、クローズドソースAIモデルへの依存を減少させる。
  論文  参考訳（メタデータ） (2023-08-25T01:40:48Z)
• Artificial intelligence adoption in the physical sciences, natural sciences, life sciences, social sciences and the arts and humanities: A bibliometric analysis of research publications from 1960-2021 [73.06361680847708]
  1960年には333の研究分野の14%がAIに関連していたが、1972年には全研究分野の半分以上、1986年には80%以上、現在では98%以上まで増加した。 1960年には、333の研究分野の14%がAI(コンピュータ科学の多くの分野)に関連していたが、1972年までに全研究分野の半分以上、1986年には80%以上、現在では98%以上まで増加した。 我々は、現在の急上昇の状況が異なっており、学際的AI応用が持続する可能性が高いと結論付けている。
  論文  参考訳（メタデータ） (2023-06-15T14:08:07Z)
• An overview of open source Deep Learning-based libraries for Neuroscience [0.0]
  本稿では,ディープラーニングの発達と神経科学との関係について概説する。 その後、文献および神経科学研究を指向したソフトウェアプロジェクトの特定のハブから収集された、神経情報学のツールボックスとライブラリをレビューする。
  論文  参考訳（メタデータ） (2022-12-19T09:09:40Z)
• Artificial Intelligence in Concrete Materials: A Scientometric View [77.34726150561087]
  本章は, コンクリート材料用AI研究の主目的と知識構造を明らかにすることを目的としている。 まず、1990年から2020年にかけて発行された389の雑誌記事が、ウェブ・オブ・サイエンスから検索された。 キーワード共起分析やドキュメント共起分析などのサイエントメトリックツールを用いて,研究分野の特徴と特徴を定量化した。
  論文  参考訳（メタデータ） (2022-09-17T18:24:56Z)
• Semantic and Relational Spaces in Science of Science: Deep Learning Models for Article Vectorisation [4.178929174617172]
  我々は、自然言語処理(NLP)とグラフニューラルネットワーク(GNN)を用いて、記事の意味的・関係的な側面に基づく文書レベルの埋め込みに焦点を当てる。 論文のセマンティックな空間をNLPでエンコードできるのに対し、GNNでは研究コミュニティの社会的実践をエンコードするリレーショナルな空間を構築することができる。
  論文  参考訳（メタデータ） (2020-11-05T14:57:41Z)
• Literature Triage on Genomic Variation Publications by Knowledge-enhanced Multi-channel CNN [5.187865216685969]
  本研究の目的は,ゲノム変異と特定の疾患や表現型との関連性を検討することである。 我々は多チャンネル畳み込みネットワークを採用し、リッチテキスト情報を活用し、異なるコーパスからのセマンティックギャップをブリッジする。 本モデルは,バイオメディカル文献トリアージ結果の精度を向上させる。
  論文  参考訳（メタデータ） (2020-05-08T13:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。