論文の概要: Large language models in bioinformatics: applications and perspectives

• arxiv url: http://arxiv.org/abs/2401.04155v1
• Date: Mon, 8 Jan 2024 17:26:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 18:49:06.868137
• Title: Large language models in bioinformatics: applications and perspectives
• Title（参考訳）: バイオインフォマティクスにおける大規模言語モデル:応用と展望
• Authors: Jiajia Liu, Mengyuan Yang, Yankai Yu, Haixia Xu, Kang Li and Xiaobo Zhou
• Abstract要約: 大規模言語モデル (LLMs) はディープラーニングに基づく人工知能モデルである。 本総説では,ゲノム学,転写学,薬物発見,単一細胞解析における大規模言語モデルの応用について検討する。
• 参考スコア（独自算出の注目度）: 14.16418711188321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are a class of artificial intelligence models based on deep learning, which have great performance in various tasks, especially in natural language processing (NLP). Large language models typically consist of artificial neural networks with numerous parameters, trained on large amounts of unlabeled input using self-supervised or semi-supervised learning. However, their potential for solving bioinformatics problems may even exceed their proficiency in modeling human language. In this review, we will present a summary of the prominent large language models used in natural language processing, such as BERT and GPT, and focus on exploring the applications of large language models at different omics levels in bioinformatics, mainly including applications of large language models in genomics, transcriptomics, proteomics, drug discovery and single cell analysis. Finally, this review summarizes the potential and prospects of large language models in solving bioinformatic problems.
• Abstract（参考訳）: LLM(Large Language Model)は、ディープラーニングに基づく人工知能モデルの一種で、特に自然言語処理(NLP)において、様々なタスクにおいて優れた性能を持つ。 大規模言語モデルは通常、多数のパラメータを持つ人工ニューラルネットワークで構成され、自己教師付きまたは半教師付き学習を用いて大量のラベルなし入力を訓練する。 しかし、バイオインフォマティクスの問題を解決する能力は、人間の言語をモデリングする能力を超える可能性がある。 本稿では, bert や gpt などの自然言語処理で使用される著名な大規模言語モデルの概要を述べるとともに, ゲノム学, 転写学, プロテオミクス, 薬物発見, 単細胞解析における大規模言語モデルの応用を中心に, バイオインフォマティクスにおける異なるオミックレベルでの大規模言語モデルの応用について考察する。 最後に,バイオインフォマティクス問題の解決における大規模言語モデルの可能性と展望について概説する。

関連論文リスト

• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• Language Model Behavior: A Comprehensive Survey [5.663056267168211]
  本稿では,タスク固有の微調整前における英語モデル行動に関する最近の250以上の研究について論じる。 モデルが数十億のパラメータにスケールするにつれて、生成テキストの品質は劇的に向上するが、モデルはまだ、非現実的な応答、常識的エラー、暗記されたテキスト、社会的偏見の傾向にある。
  論文  参考訳（メタデータ） (2023-03-20T23:54:26Z)
• PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
  本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。 我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
  論文  参考訳（メタデータ） (2023-03-06T18:58:06Z)
• Language Embeddings Sometimes Contain Typological Generalizations [0.0]
  我々は、1295の言語における聖書翻訳の膨大な多言語データセットに基づいて、自然言語処理タスクのニューラルネットワークを訓練する。 学習された言語表現は、既存の類型データベースや、新しい量的構文的・形態的特徴セットと比較される。 いくつかの一般化は言語型学の伝統的な特徴に驚くほど近いが、ほとんどのモデルは以前の研究と同様に言語学的に意味のある一般化をしていないと結論付けている。
  論文  参考訳（メタデータ） (2023-01-19T15:09:59Z)
• Curriculum: A Broad-Coverage Benchmark for Linguistic Phenomena in Natural Language Understanding [1.827510863075184]
  Curriculumは広範囲言語現象の評価のためのNLIベンチマークの新しいフォーマットである。 この言語フェノメナ駆動型ベンチマークは、モデル行動の診断とモデル学習品質の検証に有効なツールであることを示す。
  論文  参考訳（メタデータ） (2022-04-13T10:32:03Z)
• Language Models are not Models of Language [0.0]
  トランスファーラーニングにより、言語モデリングタスクでトレーニングされた大規模なディープラーニングニューラルネットワークにより、パフォーマンスが大幅に向上した。 深層学習モデルは言語の理論的モデルではないので、言語モデルという用語は誤解を招く。
  論文  参考訳（メタデータ） (2021-12-13T22:39:46Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• Linguistic Typology Features from Text: Inferring the Sparse Features of World Atlas of Language Structures [73.06435180872293]
  我々は、バイト埋め込みと畳み込み層に基づく繰り返しニューラルネットワーク予測器を構築する。 様々な言語型の特徴を確実に予測できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T21:00:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。