論文の概要: MedAdapter: Efficient Test-Time Adaptation of Large Language Models towards Medical Reasoning

• arxiv url: http://arxiv.org/abs/2405.03000v2
• Date: Fri, 04 Oct 2024 06:31:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:08:15.671410
• Title: MedAdapter: Efficient Test-Time Adaptation of Large Language Models towards Medical Reasoning
• Title（参考訳）: MedAdapter:医療推論に向けた大規模言語モデルの効率的なテスト時間適応
• Authors: Wenqi Shi, Ran Xu, Yuchen Zhuang, Yue Yu, Haotian Sun, Hang Wu, Carl Yang, May D. Wang,
• Abstract要約: MedAdapterは,大規模言語モデル(LLM)の生体医学的応用に対するテスト時間適応のための統合されたポストホックアダプタである。 MedAdapterは、バイオメディカル推論において、ホワイトボックスとブラックボックスの両方に効果的に適応し、それぞれ25.48%と11.31%の平均的なパフォーマンス向上を達成した。 モデルパフォーマンス、計算リソース、データプライバシのバランスをとるという課題に直面したMedAdapterは、効率的でプライバシ保護、費用対効果、透明なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 42.75299598286722
• License:
• Abstract: Despite their improved capabilities in generation and reasoning, adapting large language models (LLMs) to the biomedical domain remains challenging due to their immense size and corporate privacy. In this work, we propose MedAdapter, a unified post-hoc adapter for test-time adaptation of LLMs towards biomedical applications. Instead of fine-tuning the entire LLM, MedAdapter effectively adapts the original model by fine-tuning only a small BERT-sized adapter to rank candidate solutions generated by LLMs. Experiments demonstrate that MedAdapter effectively adapts both white-box and black-box LLMs in biomedical reasoning, achieving average performance improvements of 25.48% and 11.31%, respectively, without requiring extensive computational resources or sharing data with third parties. MedAdapter also yields superior performance when combined with train-time adaptation, highlighting a flexible and complementary solution to existing adaptation methods. Faced with the challenges of balancing model performance, computational resources, and data privacy, MedAdapter provides an efficient, privacy-preserving, cost-effective, and transparent solution for adapting LLMs to the biomedical domain.
• Abstract（参考訳）: ジェネレーションと推論の能力が向上したにもかかわらず、大きな言語モデル(LLM)をバイオメディカル領域に適用することは、その巨大さと企業プライバシのために依然として困難である。 本研究では,LLMのバイオメディカル応用に向けたテスト時間適応のための統合されたポストホックアダプタであるMedAdapterを提案する。 LLM全体を微調整する代わりに、MedAdapterは小さなBERTサイズのアダプタだけを微調整することで、LLMが生成する候補ソリューションのランク付けを効果的に行う。 実験により、MedAdapterはホワイトボックスとブラックボックスの両方のLSMをバイオメディカル推論に効果的に適用し、それぞれ25.48%と11.31%の平均的なパフォーマンス向上を達成した。 MedAdapterは、既存のアダプティブメソッドに対するフレキシブルで補完的なソリューションを強調しながら、トレインタイムアダプティブと組み合わせることで、優れたパフォーマンスを得る。 モデルパフォーマンス、計算リソース、データプライバシのバランスをとるという課題に直面したMedAdapterは、バイオメディカルドメインにLLMを適用するための効率的で、プライバシ保護、コスト効率、透明なソリューションを提供する。

関連論文リスト

• Generative Adapter: Contextualizing Language Models in Parameters with A Single Forward Pass [109.34230156454574]
  大規模言語モデル(LM)は一般的に、新しい文脈におけるパフォーマンスを改善するために適応される。 微調整によってトレーニングコストが大幅に増加し、推論オーバーヘッドが増加する。 我々は、新しいコンテキストを低ランクLMアダプタに直接マッピングする効率的で効率的な適応手法である$GenerativeAdapter$を紹介した。
  論文  参考訳（メタデータ） (2024-11-08T00:42:47Z)
• The Impact of LoRA Adapters for LLMs on Clinical NLP Classification Under Data Limitations [4.72457683445805]
  臨床自然言語処理(NLP)のための微調整大型言語モデル(LLM)は、ドメインギャップと限られたデータ可用性のために大きな課題を提起する。 本研究では,ローランド適応(LoRA)に準ずる各種アダプタ技術の有効性について検討する。 我々は2つのTransformerベースのモデルとともに、CamemBERT-bio、AliBERT、DrBERTなどのバイオメディカル事前訓練モデルを微調整した。
  論文  参考訳（メタデータ） (2024-07-27T16:48:03Z)
• MediSwift: Efficient Sparse Pre-trained Biomedical Language Models [2.1964473581765076]
  MediSwiftは、ドメイン固有のバイオメディカルテキストデータに対するスパース事前トレーニングを利用するバイオメディカルLMのスイートである。 トレーニング前段階で最大75%の重量幅を誘導することにより、トレーニングFLOPの2-2.5倍の削減を実現している。 この結果から,スパース事前学習と高密度微調整およびソフトプロンプトが,特殊領域における高性能で計算効率の良いモデル作成に有効な方法であることがわかった。
  論文  参考訳（メタデータ） (2024-03-01T20:03:44Z)
• BBox-Adapter: Lightweight Adapting for Black-Box Large Language Models [20.350107865286606]
  BBox-Adapterは、ブラックボックス大言語モデル(LLM)用の軽量アダプタである。 ターゲットデータを正、ソースデータを負として扱うことにより、ターゲットとソースのドメインデータを区別する。 様々なタスクとドメインでモデル性能を最大6.77%向上させ、トレーニングコストと推論コストをそれぞれ31.30倍と1.84倍に削減する。
  論文  参考訳（メタデータ） (2024-02-13T05:15:46Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
  モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。 2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-30T12:10:17Z)
• LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models [75.25782573728677]
  本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。 このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。 本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
  論文  参考訳（メタデータ） (2023-04-04T16:31:37Z)
• Exploiting Adapters for Cross-lingual Low-resource Speech Recognition [52.40623653290499]
  言語間の言語適応は、複数のリッチリソース言語を活用して低リソースターゲット言語のためのモデルを構築するという問題を解決することを目的としている。 パラメータ効率のよい言語間音声適応のための複数のアダプタの性能を調べるためのアダプタを提案する。
  論文  参考訳（メタデータ） (2021-05-18T08:30:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。