論文の概要: Small Models are LLM Knowledge Triggers on Medical Tabular Prediction

• arxiv url: http://arxiv.org/abs/2403.01570v3
• Date: Fri, 28 Feb 2025 09:23:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:39:20.256444
• Title: Small Models are LLM Knowledge Triggers on Medical Tabular Prediction
• Title（参考訳）: 医学的タブラリ予測におけるLPM知識トリガーの小型モデル
• Authors: Jiahuan Yan, Jintai Chen, Chaowen Hu, Bo Zheng, Yaojun Hu, Jimeng Sun, Jian Wu,
• Abstract要約: 小モデルを用いたシナジー学習による汎用的な自己プロンプト手法SERSALを提案する。 本研究は,SERSALが言語的プロンプト法に比べて大幅に改善されていることを示す。
• 参考スコア（独自算出の注目度）: 39.78560996984352
• License:
• Abstract: Recent development in large language models (LLMs) has demonstrated impressive domain proficiency on unstructured textual or multi-modal tasks. However, despite with intrinsic world knowledge, their application on structured tabular data prediction still lags behind, primarily due to the numerical insensitivity and modality discrepancy that brings a gap between LLM reasoning and statistical tabular learning. Unlike textual or vision data (e.g., electronic clinical notes or medical imaging data), tabular data is often presented in heterogeneous numerical values (e.g., CBC reports). This ubiquitous data format requires intensive expert annotation, and its numerical nature limits LLMs' capability to effectively transfer untapped domain expertise. In this paper, we propose SERSAL, a general self-prompting method by synergy learning with small models to enhance LLM tabular prediction in an unsupervised manner. Specifically, SERSAL utilizes the LLM's prior outcomes as original soft noisy annotations, which are dynamically leveraged to teach a better small student model. Reversely, the outcomes from the trained small model are used to teach the LLM to further refine its real capability. This process can be repeatedly applied to gradually distill refined knowledge for continuous progress. Comprehensive experiments on widely used medical domain tabular datasets show that, without access to gold labels, applying SERSAL to OpenAI GPT reasoning process attains substantial improvement compared to linguistic prompting methods, which serves as an orthogonal direction for tabular LLM, and increasing prompting bonus is observed as more powerful LLMs appear.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の発展は、構造化されていないテキストやマルチモーダルタスクにおけるドメイン習熟度を顕著に示している。 しかし、本質的な世界知識にもかかわらず、構造化された表型データ予測への応用は、主にLSM推論と統計的表型学習のギャップをもたらす数値的不感度とモダリティの相違により、まだ遅れている。 テキストや視覚データ(電子的臨床ノートや医用画像データなど)とは異なり、表計算データは不均一な数値(CBCレポートなど)で表されることが多い。 このユビキタスなデータフォーマットは、専門家のアノテーションを必要とするが、その数値的性質は、未使用のドメインの専門知識を効果的に転送するLLMの能力を制限している。 本稿では,LLM表の予測を教師なしで向上させるため,小型モデルとの相乗学習による汎用的なセルフプロンプト手法SERSALを提案する。 具体的には、SERSALはLLMの以前の成果を、より優れた小学生モデルを教えるために動的に活用されるオリジナルのソフトノイズアノテーションとして利用する。 逆に、訓練された小さなモデルの結果は、LLMにその実際の能力をさらに洗練させるように教えるために使用される。 このプロセスは、継続的進行のために洗練された知識を徐々に蒸留するために繰り返し適用することができる。 広く使われている医療領域の表層データセットに関する総合的な実験は、ゴールドラベルにアクセスせずに、SERSALをOpenAI GPT推論プロセスに適用することで、表層LCMの直交方向として機能する言語的プロンプト法よりも大幅に改善し、より強力なLCMが現れるにつれて、促進ボーナスが観察されることを示している。

関連論文リスト

• SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
  画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。 トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。 コードとモデルはリリースされます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:26Z)
• SOLO: A Single Transformer for Scalable Vision-Language Modeling [74.05173379908703]
  我々はvisiOn-Language mOdelingのための単一変換器SOLOを提案する。 SOLOのような統一された単一トランスフォーマーアーキテクチャは、LVLMにおけるこれらのスケーラビリティ上の懸念に効果的に対処する。 本稿では,オープンソースの7B LVLMであるSOLOの開発のための,最初のオープンソーストレーニングレシピを紹介する。
  論文  参考訳（メタデータ） (2024-07-08T22:40:15Z)
• RLAIF-V: Open-Source AI Feedback Leads to Super GPT-4V Trustworthiness [102.06442250444618]
  RLAIF-Vは,MLLMを完全なオープンソースパラダイムで整列させる新しいフレームワークである。 RLAIF-Vは、高品質なフィードバックデータ生成を含む2つの観点から、オープンソースのMLLMを最大限に探求する。 RLAIF-Vは、自動評価と人的評価の両方で6つのベンチマーク実験を行い、モデルの信頼性を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2024-05-27T14:37:01Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)
• ALLaVA: Harnessing GPT4V-Synthesized Data for Lite Vision-Language Models [45.040292339670096]
  大規模視覚言語モデル(LVLM)は、その強力な推論と一般化能力を備えた幅広い視覚言語タスクの前提を示してきた。 本研究では,従来のLVLMとリソースフレンドリなライトバージョンのパフォーマンスギャップを,高品質なトレーニングデータを用いて橋渡しすることを目的とする。
  論文  参考訳（メタデータ） (2024-02-18T19:26:49Z)
• Mitigating Object Hallucination in Large Vision-Language Models via Classifier-Free Guidance [56.04768229686853]
  LVLM(Large Vision-Language Models)は、画像中の既存の物体を幻覚させる傾向がある。 私たちはclassifieR-Free guIdaNcE (MARINE)を介してMitigating HallucinAtionと呼ばれるフレームワークを導入する。 MARINEはトレーニングフリーかつAPIフリーであり、生成プロセス中のオブジェクト幻覚を効果的かつ効率的に低減することができる。
  論文  参考訳（メタデータ） (2024-02-13T18:59:05Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Explainability of Traditional and Deep Learning Models on Longitudinal Healthcare Records [0.0]
  モデルと様々な説明可能性法の比較は十分に研究されていないため、説明可能性の厳密な評価は欠落することが多い。 我々の研究は、伝統的(XGBoost)と深層学習(LSTM with Attention)のモデル間の、グローバルおよび個人レベルの説明可能性のパフォーマンスを初めて評価した1つです。
  論文  参考訳（メタデータ） (2022-11-22T04:39:17Z)
• Differentially Private Vertical Federated Learning [14.690310701654827]
  本稿では,個々の組織データのプライバシーを,差分プライバシー(DP)設定で保護する方法を検討する。 以上の結果から,垂直FL性能とプライバシ保護のバランスをとるためには,トレードオフ点を見つける必要があることが示唆された。
  論文  参考訳（メタデータ） (2022-11-13T01:24:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。