論文の概要: Development of a Reliable and Accessible Caregiving Language Model (CaLM)

• arxiv url: http://arxiv.org/abs/2403.06857v1
• Date: Mon, 11 Mar 2024 16:12:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-12 18:27:50.422313
• Title: Development of a Reliable and Accessible Caregiving Language Model (CaLM)
• Title（参考訳）: 信頼性・アクセシブル介護言語モデル(CaLM)の開発
• Authors: Bambang Parmanto, Bayu Aryoyudanta, Wilbert Soekinto, I Made Agus Setiawan, Yuhan Wang, Haomin Hu, Andi Saptono, Yong K. Choi
• Abstract要約: 本研究の目的は、FMと介護知識ベースを用いて、信頼できる介護言語モデル(CaLM)を開発することである。 FMファインチューニングと組み合わせて, FM応答の質を向上させるために, Retrieval Augmented Generation (RAG) フレームワークを用いた CaLM を開発した。 本研究は,介護領域に特有の知識ベースを持つ小型FMを用いて,信頼性の高いCaLMを開発可能であることを示す。
• 参考スコア（独自算出の注目度）: 1.1487735059279973
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Unlike professional caregivers, family caregivers often assume this role without formal preparation or training. Because of this, there is an urgent need to enhance the capacity of family caregivers to provide quality care. Large language models can potentially be used as a foundation technology for supporting caregivers as educational tools or as adjunct to care. This study aimed to develop a reliable Caregiving Language Model (CaLM) by using FMs and a caregiving knowledge base, develop an accessible CaLM using a small FM that requires fewer computing resources, and evaluate the performance of the model compared to a large FM. We developed CaLM using the Retrieval Augmented Generation (RAG) framework combined with FM fine-tuning for improving the quality of FM answers by grounding the model on a caregiving knowledge base. We used two small FMs as candidates for the FM of CaLM (LLaMA-2 and Falcon with 7B parameters) and larger FM GPT-3.5 as a benchmark. We developed the caregiving knowledge base by gathering various types of documents from the Internet. In this study, we focused on caregivers of individuals with Alzheimer's Disease Related Dementias. We evaluated the models' performance using the benchmark metrics commonly used in evaluating language models and their reliability to provide accurate references with the answers. The RAG framework improved the performance of all FMs used in this study across all measures. As expected, the large FM performed better than small FMs across all metrics. The most interesting result is that small fine-tuned FMs with RAG performed significantly better than GPT 3.5 across all metrics. The fine-tuned LLaMA-2 small FM performed better than GPT 3.5 (even with RAG) in returning references with the answers. The study shows that reliable and accessible CaLM can be developed by using small FMs with a knowledge base specific to the caregiving domain.
• Abstract（参考訳）: 専門の介護者とは異なり、家族の介護者は正式な準備や訓練なしにこの役割を引き受けることが多い。 このため,家族介護者の質の高いケア能力の向上が急務である。 大規模な言語モデルは、介護者を教育ツールとして支援するための基礎技術として、あるいはケアの補助として使用できる可能性がある。 本研究の目的は、FMと介護知識ベースを用いて、信頼性の高い介護言語モデル(CaLM)を開発し、少ない計算資源を必要とする小さなFMを用いてアクセス可能なCaLMを開発し、大規模FMと比較してモデルの性能を評価することである。 本研究では, FMファインチューニングと組み合わせて, 介護知識ベースでモデルを構築し, FM応答の質を向上させるために, RAG(Retrieval Augmented Generation)フレームワークを用いたCaLMを開発した。 そこで我々は,CaLM(LLaMA-2とFalcon 7Bパラメータ)のFM候補として2つの小さなFMと,ベンチマークとしてより大きなFM GPT-3.5を使用した。 インターネットから様々な種類の文書を収集し,介護知識基盤を構築した。 本研究ではアルツハイマー病関連認知症患者の介護者について検討した。 言語モデルの評価によく用いられるベンチマークメトリクスと、その信頼性を用いて、モデルのパフォーマンスを評価し、回答の正確な参照を提供する。 RAGフレームワークは、この研究で使用されるすべてのFMの性能を改善した。 予想通り、大きなFMはすべてのメトリクスで小さなFMよりも性能が良かった。 最も興味深い結果として、RAGを用いた小型の微調整FMは、すべての測定値においてGPT3.5よりも大幅に向上した。 微調整されたllama-2 small fm は gpt 3.5 よりも優れた結果を得た(rag も)。 本研究は,介護領域に特有の知識ベースを持つ小型FMを用いて,信頼性の高いCaLMを開発可能であることを示す。

関連論文リスト

• Synergizing Foundation Models and Federated Learning: A Survey [23.416321895575507]
  本稿では,フェデレートラーニング(FL)とファンデーションモデル(FM)の融合の可能性と課題について論じる。 FLは、さまざまな参加者からのデータ可用性の障壁を破る、共同学習パラダイムである。 プライバシを保護しながら、分散データセットを使用して、幅広いドメイン固有のタスクにFMをカスタマイズし、適応する有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-06-18T17:58:09Z)
• On the Evaluation of Speech Foundation Models for Spoken Language Understanding [87.52911510306011]
  Spoken Language Understanding Evaluation (SLUE) というベンチマークタスクスイートが最近導入され、オープンリソースやベンチマークの必要性に対処している。 このベンチマークは、これらのSLUタスクに事前訓練された音声基礎モデル(SFM)を使用することで、予備的な成功を収めた。 どのSFMがこれらの複雑なSLUタスクに最も恩恵をもたらすか、そしてこれらのSFMを組み込む上で最も効果的なアプローチは何か?
  論文  参考訳（メタデータ） (2024-06-14T14:37:52Z)
• FOFO: A Benchmark to Evaluate LLMs' Format-Following Capability [70.84333325049123]
  FoFoは、大規模言語モデル(LLM)の複雑なドメイン固有のフォーマットに従う能力を評価するための先駆的なベンチマークである。 本稿では,大規模言語モデル(LLM)の複雑なドメイン固有フォーマットに従う能力を評価するための先駆的ベンチマークであるFoFoを提案する。
  論文  参考訳（メタデータ） (2024-02-28T19:23:27Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Quantifying Self-diagnostic Atomic Knowledge in Chinese Medical Foundation Model: A Computational Analysis [55.742339781494046]
  ファンデーションモデル(FM)は、直接的で効率的な提案を提供することで、ユーザーが検索エンジンを通して自己診断する方法に革命をもたらす可能性がある。 近年の研究では、GPT-4で評価されたFMの品質や、医学試験に合格する能力に焦点が当てられている。 FMの記憶に蓄えられた自己診断的原子知識の程度を定量化する研究はない。
  論文  参考訳（メタデータ） (2023-10-18T05:42:22Z)
• Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• VideoGLUE: Video General Understanding Evaluation of Foundation Models [89.07145427268948]
  我々は、慎重に設計された実験プロトコルを用いて、基礎モデル(FM)の映像理解能力を評価する。 一般的な映像理解タスクに適応する際のFMの目印と有効性について共同で検討する。
  論文  参考訳（メタデータ） (2023-07-06T17:47:52Z)
• Efficient Domain Adaptation for Speech Foundation Models [42.81357437023811]
  本稿では,FMに基づく音声認識システムのための効率的なソリューション構築に向けた先駆的な研究について述べる。 我々は、最近開発された自己教師型BEST-RQを事前学習に適用し、ソースデータと教師なしターゲットドメインデータとの結合微調整を提案する。 大規模なYouTubeおよびVoice Searchタスクにおいて,本手法はデータとモデルパラメータの両方を効率よく行うことが示されている。
  論文  参考訳（メタデータ） (2023-02-03T02:10:35Z)
• Leaf-FM: A Learnable Feature Generation Factorization Machine for Click-Through Rate Prediction [2.412497918389292]
  本稿では,FM に基づく LeafFM モデルを提案する。 実世界の3つのデータセットで実験を行い、その結果、Leaf-FMモデルは標準FMよりも大きなマージンで優れていることを示した。
  論文  参考訳（メタデータ） (2021-07-26T08:29:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。