論文の概要: SERVAL: Synergy Learning between Vertical Models and LLMs towards
Oracle-Level Zero-shot Medical Prediction
- arxiv url: http://arxiv.org/abs/2403.01570v1
- Date: Sun, 3 Mar 2024 17:35:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 20:45:26.524727
- Title: SERVAL: Synergy Learning between Vertical Models and LLMs towards
Oracle-Level Zero-shot Medical Prediction
- Title（参考訳）: SERVAL: Oracle-Level ゼロショット医療予測に向けた垂直モデルと LLM のシナジー学習
- Authors: Jiahuan Yan, Jintai Chen, Chaowen Hu, Bo Zheng, Yaojun Hu, Jimeng Sun,
Jian Wu
- Abstract要約: SERVALは、大規模言語モデルと小型モデルの両方において、教師なしの垂直機能開発のために設計されたシナジー学習パイプラインである。
複雑な垂直的な知識と高価なアノテーションで知られる医療分野において、SERVALは10の広く使用されている医療データセットで完全に監督された競争性能を達成している。
- 参考スコア（独自算出の注目度）: 41.78068805310307
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent development of large language models (LLMs) has exhibited impressive
zero-shot proficiency on generic and common sense questions. However, LLMs'
application on domain-specific vertical questions still lags behind, primarily
due to the humiliation problems and deficiencies in vertical knowledge.
Furthermore, the vertical data annotation process often requires
labor-intensive expert involvement, thereby presenting an additional challenge
in enhancing the model's vertical capabilities. In this paper, we propose
SERVAL, a synergy learning pipeline designed for unsupervised development of
vertical capabilities in both LLMs and small models by mutual enhancement.
Specifically, SERVAL utilizes the LLM's zero-shot outputs as annotations,
leveraging its confidence to teach a robust vertical model from scratch.
Reversely, the trained vertical model guides the LLM fine-tuning to enhance its
zero-shot capability, progressively improving both models through an iterative
process. In medical domain, known for complex vertical knowledge and costly
annotations, comprehensive experiments show that, without access to any gold
labels, SERVAL with the synergy learning of OpenAI GPT-3.5 and a simple model
attains fully-supervised competitive performance across ten widely used medical
datasets. These datasets represent vertically specialized medical diagnostic
scenarios (e.g., diabetes, heart diseases, COVID-19), highlighting the
potential of SERVAL in refining the vertical capabilities of LLMs and training
vertical models from scratch, all achieved without the need for annotations.
- Abstract（参考訳）: 近年の大規模言語モデル (LLM) の開発は, 汎用的, 常識的質問に対して, 目覚ましいゼロショット能力を示した。
しかし、LLMのドメイン固有の垂直質問への応用は、主に垂直知識の屈辱問題と欠陥のため、まだ遅れている。
さらに、垂直データアノテーションプロセスは、しばしば労働集約的な専門家の関与を必要とするため、モデルの垂直能力を高めるためのさらなる課題が提示される。
本稿では,LLMと小型モデルの両方において,相互強化による教師なしの垂直機能開発を目的とした相乗学習パイプラインSERVALを提案する。
具体的には、SERVALはLDMのゼロショット出力をアノテーションとして利用し、信頼性を活用して、スクラッチから堅牢な垂直モデルを教える。
逆に、訓練された垂直モデルはLLMファインチューニングをガイドし、ゼロショット能力を向上し、反復的なプロセスを通じて両方のモデルを改善する。
複雑な垂直的な知識と高価なアノテーションで知られている医学領域において、包括的な実験は、金のラベルにアクセスせずに、SERVALはOpenAI GPT-3.5のシナジー学習と単純なモデルにより、10の広く使用されている医療データセットで完全に監督された競争性能が得られることを示した。
これらのデータセットは、垂直に専門化された診断シナリオ(糖尿病、心臓病、COVID-19など)を表現し、LEMの垂直能力を洗練し、垂直モデルをスクラッチから訓練するSERVALの可能性を強調している。
関連論文リスト
- A Single Transformer for Scalable Vision-Language Modeling [74.05173379908703]
我々はvisiOn-Language mOdelingのための単一変換器SOLOを提案する。
SOLOのような統一された単一トランスフォーマーアーキテクチャは、LVLMにおけるこれらのスケーラビリティ上の懸念に効果的に対処する。
本稿では,オープンソースの7B LVLMであるSOLOの開発のための,最初のオープンソーストレーニングレシピを紹介する。
論文 参考訳（メタデータ） (2024-07-08T22:40:15Z) - RLAIF-V: Aligning MLLMs through Open-Source AI Feedback for Super GPT-4V Trustworthiness [94.03511733306296]
我々は,MLLMを超GPT-4V信頼性のための完全なオープンソースパラダイムに整合させるフレームワークであるRLAIF-Vを紹介する。
RLAIF-Vは、高品質なフィードバックデータとオンラインフィードバック学習アルゴリズムを含む、2つの観点から、オープンソースフィードバックを最大限活用する。
実験により、RLAIF-Vは、他のタスクのパフォーマンスを犠牲にすることなく、モデルの信頼性を大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-05-27T14:37:01Z) - An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。
本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。
ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
論文 参考訳（メタデータ） (2024-03-30T08:42:10Z) - ALLaVA: Harnessing GPT4V-Synthesized Data for Lite Vision-Language Models [45.040292339670096]
大規模視覚言語モデル(LVLM)は、その強力な推論と一般化能力を備えた幅広い視覚言語タスクの前提を示してきた。
本研究では,従来のLVLMとリソースフレンドリなライトバージョンのパフォーマンスギャップを,高品質なトレーニングデータを用いて橋渡しすることを目的とする。
論文 参考訳（メタデータ） (2024-02-18T19:26:49Z) - Mitigating Object Hallucination in Large Vision-Language Models via
Classifier-Free Guidance [56.04768229686853]
LVLM(Large Vision-Language Models)は、画像中の既存の物体を幻覚させる傾向がある。
私たちはclassifieR-Free guIdaNcE (MARINE)を介してMitigating HallucinAtionと呼ばれるフレームワークを導入する。
MARINEはトレーニングフリーかつAPIフリーであり、生成プロセス中のオブジェクト幻覚を効果的かつ効率的に低減することができる。
論文 参考訳（メタデータ） (2024-02-13T18:59:05Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳（メタデータ） (2024-02-07T13:41:53Z) - Explainability of Traditional and Deep Learning Models on Longitudinal
Healthcare Records [0.0]
モデルと様々な説明可能性法の比較は十分に研究されていないため、説明可能性の厳密な評価は欠落することが多い。
我々の研究は、伝統的(XGBoost)と深層学習(LSTM with Attention)のモデル間の、グローバルおよび個人レベルの説明可能性のパフォーマンスを初めて評価した1つです。
論文 参考訳（メタデータ） (2022-11-22T04:39:17Z) - Differentially Private Vertical Federated Learning [14.690310701654827]
本稿では,個々の組織データのプライバシーを,差分プライバシー(DP)設定で保護する方法を検討する。
以上の結果から,垂直FL性能とプライバシ保護のバランスをとるためには,トレードオフ点を見つける必要があることが示唆された。
論文 参考訳（メタデータ） (2022-11-13T01:24:38Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳（メタデータ） (2020-07-17T01:52:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。