論文の概要: SleepCoT: A Lightweight Personalized Sleep Health Model via Chain-of-Thought Distillation

• arxiv url: http://arxiv.org/abs/2410.16924v1
• Date: Tue, 22 Oct 2024 11:56:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:25:19.037120
• Title: SleepCoT: A Lightweight Personalized Sleep Health Model via Chain-of-Thought Distillation
• Title（参考訳）: SleepCoT:チェーン・オブ・サート蒸留による軽量パーソナライズド睡眠健康モデル
• Authors: Huimin Zheng, Xiaofeng Xing, Xiangmin Xu,
• Abstract要約: 本研究は,CoT蒸留法を用いて睡眠管理を個別化するための新しいアプローチを提案する。 提案手法は,課題解決戦略,長期専門知識,大規模モデルからのパーソナライズされたレコメンデーション機能を,より効率的でコンパクトなモデルに同時に蒸留する。
• 参考スコア（独自算出の注目度）: 9.133271556862738
• License:
• Abstract: We present a novel approach to personalized sleep health management using few-shot Chain-of-Thought (CoT) distillation, enabling small-scale language models (> 2B parameters) to rival the performance of large language models (LLMs) in specialized health domains. Our method simultaneously distills problem-solving strategies, long-tail expert knowledge, and personalized recommendation capabilities from larger models into more efficient, compact models. Unlike existing systems, our approach offers three key functionalities: generating personalized sleep health recommendations, supporting user-specific follow-up inquiries, and providing responses to domain-specific knowledge questions. We focus on sleep health due to its measurability via wearable devices and its impact on overall well-being. Our experimental setup, involving GPT-4o for data synthesis, Qwen-max for instruction set creation, and Qwen2.5 1.5B for model distillation, demonstrates significant improvements over baseline small-scale models in penalization, reasoning, and knowledge application. Experiments using 100 simulated sleep reports and 1,000 domain-specific questions shows our model achieves comparable performance to larger models while maintaining efficiency for real-world deployment. This research not only advances AI-driven health management but also provides a novel approach to leveraging LLM capabilities in resource-constrained environments, potentially enhancing the accessibility of personalized healthcare solutions.
• Abstract（参考訳）: 本研究では,小規模言語モデル (>2Bパラメータ) を用いて,特定健康領域における大規模言語モデル (LLM) の性能に匹敵する機能を実現するため,数ショットのChain-of-Thought (CoT) 蒸留を用いて睡眠管理を個別化するための新しいアプローチを提案する。 提案手法は,課題解決戦略,長期専門知識,大規模モデルからのパーソナライズされたレコメンデーション機能を,より効率的でコンパクトなモデルに同時に蒸留する。 既存のシステムとは異なり、我々のアプローチでは、パーソナライズされた睡眠状態のレコメンデーションの生成、ユーザ固有のフォローアップ質問のサポート、ドメイン固有の知識質問に対する応答の3つの重要な機能を提供している。 ウェアラブルデバイスによる測定可能性と、全体としての健康への影響から、睡眠の健康に重点を置いている。 データ合成のためのGPT-4o, 命令セット生成のためのQwen-max, モデル蒸留のためのQwen2.5 1.5Bを含む実験装置は, ペナル化, 推論, 知識応用におけるベースラインの小型モデルよりも大幅に改善されていることを示す。 100の模擬睡眠レポートと1000のドメイン固有の質問を用いた実験は、我々のモデルが実際のデプロイメントの効率を維持しながら、より大きなモデルに匹敵するパフォーマンスを実現していることを示している。 この研究は、AIによる健康管理を前進させるだけでなく、リソース制約のある環境でLLM機能を活用するための新しいアプローチを提供し、パーソナライズされた医療ソリューションのアクセシビリティを高める可能性がある。

関連論文リスト

• FEDKIM: Adaptive Federated Knowledge Injection into Medical Foundation Models [54.09244105445476]
  本研究は,フェデレート・ラーニング・フレームワーク内で医療基盤モデルを拡張するための新しい知識注入手法であるFedKIMを紹介する。 FedKIMは軽量なローカルモデルを活用して、プライベートデータから医療知識を抽出し、この知識を集中基盤モデルに統合する。 7つのモードで12タスクを対象に実験を行い,FedKIMの有効性について検討した。
  論文  参考訳（メタデータ） (2024-08-17T15:42:29Z)
• MSSC-BiMamba: Multimodal Sleep Stage Classification and Early Diagnosis of Sleep Disorders with Bidirectional Mamba [5.606144017978037]
  本研究では,睡眠時ステージングと障害分類の自動モデルを構築し,診断精度と効率を向上させる。 マルチモード睡眠状態分類モデルMSSC-BiMamba を設計した。 このモデルは、マルチモーダルPSGデータを用いたスリープステージングにBiMambaを初めて適用し、計算とメモリ効率を大幅に向上させた。
  論文  参考訳（メタデータ） (2024-05-30T15:16:53Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• PEFT-MedAware: Large Language Model for Medical Awareness [0.0]
  我々は,特殊なMedQuADデータに基づいて,Falcon-1bの大規模言語モデルを強化するためのPEFT-MedAwareモデルを提案する。 このモデルは、特定の領域における医学的質問応答タスクにおいて、他のLSMよりも優れていた。 我々は、拡張データセット、より大きなモデル、持続医療関連性のためのフィードバックメカニズムによるさらなる改善を提案する。
  論文  参考訳（メタデータ） (2023-11-17T18:32:17Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Performance and utility trade-off in interpretable sleep staging [0.0]
  脳波、EOG、筋電図などの生理学的信号に基づいて、臨床診断支援システム、睡眠ステージングの解釈方法について検討する。 提案されたフレームワークであるNormIntSleepは、正規化機能を使用してディープラーニングの埋め込みを表現することで、さまざまなデータセット間で優れたパフォーマンスを得ることができることを示している。
  論文  参考訳（メタデータ） (2022-11-07T03:27:01Z)
• A Twin Neural Model for Uplift [59.38563723706796]
  Upliftは条件付き治療効果モデリングの特定のケースです。 相対リスクのベイズ解釈との関連性を利用して定義した新たな損失関数を提案する。 本提案手法は,シミュレーション設定の最先端と大規模ランダム化実験による実データとの競合性を示す。
  論文  参考訳（メタデータ） (2021-05-11T16:02:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。