論文の概要: BioHiCL: Hierarchical Multi-Label Contrastive Learning for Biomedical Retrieval with MeSH Labels
- arxiv url: http://arxiv.org/abs/2604.15591v1
- Date: Fri, 17 Apr 2026 00:09:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-20 22:00:19.683103
- Title: BioHiCL: Hierarchical Multi-Label Contrastive Learning for Biomedical Retrieval with MeSH Labels
- Title（参考訳）: BioHiCL:MeSHラベルを用いたバイオメディカル検索のための階層型マルチラベルコントラスト学習
- Authors: Mengfei Lan, Lecheng Zheng, Halil Kilicoglu,
- Abstract要約: 我々は,階層型MeSHアノテーションを活用し,多言語コントラスト学習のための構造化された監視を提供するBioHiCL(Biomedical Retrieval with Hierarchical Multi-Label Contrastive Learning)を提案する。
我々のモデルであるBioHiCL-Base (0.1B) とBioHiCL-Large (0.3B) は、バイオメディカル検索、文類似性、質問応答タスクにおいて、計算効率を保ちながら有望な性能を達成する。
- 参考スコア（独自算出の注目度）: 4.913209783571182
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Effective biomedical information retrieval requires modeling domain semantics and hierarchical relationships among biomedical texts. Existing biomedical generative retrievers build on coarse binary relevance signals, limiting their ability to capture semantic overlap. We propose BioHiCL (Biomedical Retrieval with Hierarchical Multi-Label Contrastive Learning), which leverages hierarchical MeSH annotations to provide structured supervision for multi-label contrastive learning. Our models, BioHiCL-Base (0.1B) and BioHiCL-Large (0.3B), achieve promising performance on biomedical retrieval, sentence similarity, and question answering tasks, while remaining computationally efficient for deployment.
- Abstract（参考訳）: 効果的なバイオメディカル情報検索には、バイオメディカルテキスト間のドメインセマンティクスと階層的関係をモデル化する必要がある。
既存のバイオメディカル生成レトリバーは、粗いバイナリ関連信号の上に構築されており、セマンティックオーバーラップをキャプチャする能力を制限している。
我々は,階層型MeSHアノテーションを活用し,多言語コントラスト学習のための構造化された監視を提供するBioHiCL(Biomedical Retrieval with Hierarchical Multi-Label Contrastive Learning)を提案する。
我々のモデルであるBioHiCL-Base (0.1B) とBioHiCL-Large (0.3B) は、バイオメディカル検索、文類似性、質問応答タスクにおいて、計算効率を保ちながら有望な性能を達成する。
関連論文リスト
- m-KAILIN: Knowledge-Driven Agentic Scientific Corpus Distillation Framework for Biomedical Large Language Models Training [22.996230737442254]
バイオメディカルな大規模言語モデル(LLM)のためのコーパスヘッダーは、オープンソースの科学コーパスにおいて、不十分な量と品質のプレス課題に対処しようとしている。
本稿では, バイオメディカル領域におけるLLMトレーニングに適した, 科学的コーパス蒸留のための知識駆動型エージェントフレームワークを提案する。
論文 参考訳（メタデータ） (2025-04-28T08:18:24Z) - Biology-Instructions: A Dataset and Benchmark for Multi-Omics Sequence Understanding Capability of Large Language Models [55.74944165932666]
本稿では,生物配列の大規模学習データセットであるBiology-Instructionsを紹介する。
このデータセットは、大きな言語モデル(LLM)と複雑な生物学的シーケンス関連タスクをブリッジし、その汎用性と推論を強化する。
また,マルチオミクスタスクにおける現状のLLMの,専門訓練なしでの大幅な制限を強調した。
論文 参考訳（メタデータ） (2024-12-26T12:12:23Z) - BMRetriever: Tuning Large Language Models as Better Biomedical Text Retrievers [48.21255861863282]
BMRetrieverは、バイオメディカル検索を強化するための一連の密集したレトリバーである。
BMRetrieverは強力なパラメータ効率を示し、410Mの派生型はベースラインを最大11.7倍まで上回っている。
論文 参考訳（メタデータ） (2024-04-29T05:40:08Z) - Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳（メタデータ） (2023-12-21T14:26:57Z) - Biomedical Language Models are Robust to Sub-optimal Tokenization [30.175714262031253]
現代のバイオメディカル言語モデル(LM)は、標準的なドメイン固有のトークン化器を用いて事前訓練されている。
より正確なバイオメディカルトークン化器を用いたバイオメディカルLMの事前トレーニングでは,言語モデルの実体表現品質が向上しないことがわかった。
論文 参考訳（メタデータ） (2023-06-30T13:35:24Z) - HiPrompt: Few-Shot Biomedical Knowledge Fusion via Hierarchy-Oriented
Prompting [33.1455954220194]
HiPromptは、監督効率の良い知識融合フレームワークである。
階層指向のプロンプトを通じて、大規模言語モデルの数発の推論能力を引き出す。
収集したKG-Hi-BKFベンチマークデータセットの実験的結果は、HiPromptの有効性を示している。
論文 参考訳（メタデータ） (2023-04-12T16:54:26Z) - BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs [46.87322157229728]
PMC-15Mは,既存のバイオメディカル・マルチモーダル・データセットよりも2桁大きい新しいデータセットである。
PMC-15Mは440万の科学論文から収集された1500万のバイオメディカル画像テキスト対を含んでいる。
PMC-15Mに基づいて,生物医学的視覚言語処理に適したドメイン固有適応を備えた多モーダル基礎モデルであるBiomedCLIPを事前訓練した。
論文 参考訳（メタデータ） (2023-03-02T02:20:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。