論文の概要: BioBigBird: A Sparse Attention Model for Long-Range Dependency Processing in Biomedical Text

• arxiv url: http://arxiv.org/abs/2610.11430v1
• Date: Thu, 08 Oct 2026 07:54:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.875898
• Title: BioBigBird: A Sparse Attention Model for Long-Range Dependency Processing in Biomedical Text
• Title（参考訳）: BioBigBird: バイオメディカルテキストにおける長距離依存処理のためのスパースアテンションモデル
• Abstract要約: BioBigBirdは、幅広い医学文献と臨床データに基づいて事前訓練された双方向言語モデルである。 我々の研究は、専門分野のための強力な長文言語モデルを開発するための効果的な方法論に貢献する。
• 参考スコア（独自算出の注目度）: 0.10262304700896198
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While domain-specific Large Language Models (LLMs) have encoded vast biomedical knowledge, their limited context windows often hinder a deep understanding of nuanced relationships within and across texts. To address this limitation, we introduce BioBigBird, a bidirectional language model pre-trained on extensive biomedical literature and clinical data, specifically designed to handle long-range dependencies. BioBigBird leverages a sparse attention mechanism to process sequences up to 4096 tokens, and its training incorporates a multi-stage process to mitigate noise from the large-scale pre-training corpus. We further enhance its performance by employing a multi-task learning (MTL) framework that jointly optimizes for Named Entity Recognition and Relation Extraction. Comprehensive evaluations on the BLURB benchmark reveal that our MTL-enhanced BioBigBird achieves highly competitive results against state-of-the-art models. Our work contributes an effective methodology for developing powerful, long-context language models for specialized domains, demonstrating the value of extended sequence processing for complex text analysis. Our models are publicly available at https://huggingface.co/collections/bisectgroup/biobigbird.
• Abstract（参考訳）: ドメイン固有の大規模言語モデル(LLM)は、膨大な生物医学的知識を符号化しているが、それらの限られたコンテキストウィンドウは、テキスト内およびテキスト間のニュアンス関係の深い理解を妨げることが多い。 この制限に対処するために,広範にわたる生物医学文献と臨床データに基づいて事前訓練された双方向言語モデルであるBioBigBirdを紹介した。 BioBigBirdはスパースアテンション機構を利用して最大4096個のトークンを処理し、そのトレーニングには大規模な事前学習コーパスからのノイズを軽減するための多段階プロセスが組み込まれている。 我々は、名前付きエンティティ認識と関係抽出を共同で最適化するマルチタスク学習(MTL)フレームワークを利用することで、その性能をさらに向上する。 BLURBベンチマークの総合評価から,我々のMTL強化BioBigBirdは最先端モデルに対して高い競争力を発揮することが示された。 本研究は、複雑なテキスト解析のための拡張シーケンス処理の価値を実証し、専門領域のための強力な長文言語モデルを開発するための効果的な方法論を提供する。 私たちのモデルはhttps://huggingface.co/collections/bisectgroup/biobigbird.comで公開されています。

関連論文リスト

• Enhancing Biomedical Named Entity Recognition via Multiple Programming Languages Instruction Tuning and Ensemble Method [20.369613885260247]
  我々は,BioNERのための多言語命令調整およびアンサンブル手法であるMITEを提案する。 MITEは、コード形式の表現で命令とエンティティ出力の両方を表現することで、BioNERを構造から構造への生成タスクとして再構成する。 6つの広く使用されているBioNERデータセットの実験では、MITEはBERTベースとLLMベースベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-10-02T07:42:44Z)
• Advancing AI Research Assistants with Expert-Involved Learning [84.30323604785646]
  大規模言語モデル (LLM) と大規模マルチモーダルモデル (LMM) は、生物医学的な発見を促進することを約束するが、その信頼性は未定である。 ARIEL(AI Research Assistant for Expert-in-the-Loop Learning)は,オープンソースの評価・最適化フレームワークである。 LMMは詳細な視覚的推論に苦しむのに対し、最先端のモデルでは流動性はあるが不完全な要約を生成する。
  論文  参考訳（メタデータ） (2025-05-03T14:21:48Z)
• Biology-Instructions: A Dataset and Benchmark for Multi-Omics Sequence Understanding Capability of Large Language Models [55.74944165932666]
  本稿では,生物配列の大規模学習データセットであるBiology-Instructionsを紹介する。 このデータセットは、大きな言語モデル(LLM)と複雑な生物学的シーケンス関連タスクをブリッジし、その汎用性と推論を強化する。 また,マルチオミクスタスクにおける現状のLLMの,専門訓練なしでの大幅な制限を強調した。
  論文  参考訳（メタデータ） (2024-12-26T12:12:23Z)
• Advancing bioinformatics with large language models: components, applications and perspectives [12.728981464533918]
  LLM(Large Language Model)は、ディープラーニングに基づく人工知能モデルのクラスである。 バイオインフォマティクスにおける大規模言語モデル(LLM)の本質的構成要素について概観する。 主な側面としては、さまざまなデータ型に対するトークン化メソッド、トランスフォーマーモデルのアーキテクチャ、コアアテンションメカニズムなどがある。
  論文  参考訳（メタデータ） (2024-01-08T17:26:59Z)
• Exploring the Effectiveness of Instruction Tuning in Biomedical Language Processing [19.41164870575055]
  本研究では,バイオメディカル言語処理における指導指導の可能性について検討する。 約20,000ドルのインストラクション中心のサンプルからなるデータセットで訓練された包括的,命令ベースのモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-31T20:02:10Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Improving Biomedical Entity Linking with Retrieval-enhanced Learning [53.24726622142558]
  $k$NN-BioELは、トレーニングコーパス全体から同様のインスタンスを予測のヒントとして参照する機能を備えたBioELモデルを提供する。 k$NN-BioELは、いくつかのデータセットで最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-12-15T14:04:23Z)
• iEnhancer-ELM: improve enhancer identification by extracting position-related multiscale contextual information based on enhancer language models [24.136656111333718]
  BERT型エンハンサー言語モデルに基づく新しいエンハンサー識別法(iEnhancer-ELM)を提案する。 iEnhancer-ELMは、マルチスケールのk-merでDNA配列をトークン化し、その位置に関連する異なるスケールのk-merのコンテキスト情報を抽出する。
  論文  参考訳（メタデータ） (2022-12-03T00:50:51Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。