論文の概要: Advancing bioinformatics with large language models: components, applications and perspectives

• arxiv url: http://arxiv.org/abs/2401.04155v2
• Date: Fri, 31 Jan 2025 20:30:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:04:36.469098
• Title: Advancing bioinformatics with large language models: components, applications and perspectives
• Title（参考訳）: 大規模言語モデルによるバイオインフォマティクスの高度化:コンポーネント,応用,展望
• Authors: Jiajia Liu, Mengyuan Yang, Yankai Yu, Haixia Xu, Tiangang Wang, Kang Li, Xiaobo Zhou,
• Abstract要約: LLM(Large Language Model)は、ディープラーニングに基づく人工知能モデルのクラスである。 バイオインフォマティクスにおける大規模言語モデル(LLM)の本質的構成要素について概観する。 主な側面としては、さまざまなデータ型に対するトークン化メソッド、トランスフォーマーモデルのアーキテクチャ、コアアテンションメカニズムなどがある。
• 参考スコア（独自算出の注目度）: 12.728981464533918
• License:
• Abstract: Large language models (LLMs) are a class of artificial intelligence models based on deep learning, which have great performance in various tasks, especially in natural language processing (NLP). Large language models typically consist of artificial neural networks with numerous parameters, trained on large amounts of unlabeled input using self-supervised or semi-supervised learning. However, their potential for solving bioinformatics problems may even exceed their proficiency in modeling human language. In this review, we will provide a comprehensive overview of the essential components of large language models (LLMs) in bioinformatics, spanning genomics, transcriptomics, proteomics, drug discovery, and single-cell analysis. Key aspects covered include tokenization methods for diverse data types, the architecture of transformer models, the core attention mechanism, and the pre-training processes underlying these models. Additionally, we will introduce currently available foundation models and highlight their downstream applications across various bioinformatics domains. Finally, drawing from our experience, we will offer practical guidance for both LLM users and developers, emphasizing strategies to optimize their use and foster further innovation in the field.
• Abstract（参考訳）: LLM(Large Language Model)は、ディープラーニングに基づく人工知能モデルの一種で、特に自然言語処理(NLP)において、様々なタスクにおいて優れた性能を持つ。 大規模言語モデルは通常、多数のパラメータを持つ人工ニューラルネットワークで構成され、自己教師付きまたは半教師付き学習を用いて大量のラベルなし入力に基づいて訓練される。 しかし、バイオインフォマティクス問題を解決する能力は、人間の言語をモデル化する能力を超えている可能性がある。 本稿では,生物情報学,ゲノム学,転写学,プロテオミクス,薬物発見,単一細胞解析における大規模言語モデル(LLM)の本質的構成要素について概説する。 主な側面としては、さまざまなデータ型のトークン化方法、トランスフォーマーモデルのアーキテクチャ、コアアテンションメカニズム、これらのモデルの基礎となる事前トレーニングプロセスなどがある。 さらに、現在利用可能な基礎モデルを導入し、様々なバイオインフォマティクス領域にまたがるダウンストリームアプリケーションを強調します。 最後に、私たちの経験から、LLMユーザと開発者の両方に実践的なガイダンスを提供し、彼らの利用を最適化し、この分野におけるさらなるイノベーションを促進する戦略を強調します。

関連論文リスト

• Darkit: A User-Friendly Software Toolkit for Spiking Large Language Model [50.37090759139591]
  大規模言語モデル(LLM)は、数十億のパラメータからなる様々な実践的応用に広く応用されている。 人間の脳は、生物工学的なスパイキング機構を使って、エネルギー消費を大幅に削減しながら、同じ仕事をこなすことができる。 私たちはDarwinKit(Darkit)という名のソフトウェアツールキットをリリースし、脳にインスパイアされた大きな言語モデルの採用を加速しています。
  論文  参考訳（メタデータ） (2024-12-20T07:50:08Z)
• Deep Learning and Machine Learning -- Natural Language Processing: From Theory to Application [17.367710635990083]
  自然言語処理(NLP)と大規模言語モデル(LLM)の役割に焦点を当てる。 本稿では,データ前処理技術とHugging Faceのようなフレームワークを用いたトランスフォーマーモデルの実装について論じる。 マルチリンガルデータの扱い、バイアスの低減、モデルの堅牢性確保といった課題を強調している。
  論文  参考訳（メタデータ） (2024-10-30T09:35:35Z)
• Are Large Language Models the New Interface for Data Pipelines? [3.5021689991926377]
  言語モデル(Language Model)とは、人間のコミュニケーションを理解し、生成するために設計された様々な種類のモデルを含む用語である。 大規模言語モデル (LLM) は、人間のような流布やコヒーレンスでテキストを処理する能力によって注目されている。
  論文  参考訳（メタデータ） (2024-06-06T08:10:32Z)
• LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
  本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。 このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。 本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-03T23:57:34Z)
• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• Exploring the Effectiveness of Instruction Tuning in Biomedical Language Processing [19.41164870575055]
  本研究では,バイオメディカル言語処理における指導指導の可能性について検討する。 約20,000ドルのインストラクション中心のサンプルからなるデータセットで訓練された包括的,命令ベースのモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-31T20:02:10Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• Foundation Models for Natural Language Processing -- Pre-trained Language Models Integrating Media [0.0]
  ファンデーションモデルは自然言語処理のための事前訓練された言語モデルである。 画像処理やビデオ処理からロボット制御学習まで、幅広いメディアや問題領域に適用することができる。 本書は、ファンデーションモデルの研究および応用における技術の現状を概観する。
  論文  参考訳（メタデータ） (2023-02-16T20:42:04Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。