論文の概要: Resource-Efficient Fine-Tuning of LLaMA-3.2-3B for Medical Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2510.05003v1
• Date: Mon, 06 Oct 2025 16:42:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.991058
• Title: Resource-Efficient Fine-Tuning of LLaMA-3.2-3B for Medical Chain-of-Thought Reasoning
• Title（参考訳）: 医療用LLaMA-3.2-3Bの資源効率の良い微調整
• Authors: Imran Mansha,
• Abstract要約: 大規模言語モデル(LLM)には顕著な推論能力があるが、微調整にはかなりの計算資源が必要である。 本稿では,LLaMA-3.2-3Bのための資源効率の高い微調整手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) such as GPT-4 and LLaMA have demonstrated remarkable reasoning abilities but require significant computational resources for fine-tuning. This paper presents a resource-efficient fine-tuning approach for LLaMA-3.2-3B to enhance medical chain-of-thought reasoning while operating under constrained GPU and memory settings. Using parameter-efficient tuning techniques such as LoRA and QLoRA, we adapt the base model on publicly available medical reasoning datasets. The model achieves improved reasoning coherence and factual accuracy while reducing memory usage by up to 60% compared to standard full fine-tuning. Experimental evaluation demonstrates that lightweight adaptations can retain strong reasoning capability in medical question-answering tasks. This work highlights practical strategies for deploying LLMs in low-resource research environments and provides insights into balancing efficiency and domain specialization for medical AI systems.
• Abstract（参考訳）: GPT-4やLLaMAのような大規模言語モデル(LLM)は、顕著な推論能力を示しているが、微調整にはかなりの計算資源を必要とする。 本稿では,LLaMA-3.2-3Bにおける資源効率の高い微調整手法を提案する。 LoRA や QLoRA のようなパラメータ効率のよいチューニング手法を用いることで,医用推論データセットのベースモデルに適応する。 このモデルは、通常のフルチューニングに比べて最大60%のメモリ使用量を削減しつつ、推論コヒーレンスと事実精度の改善を実現している。 実験により, 医学的質問応答タスクにおいて, 軽量適応が強い推論能力を維持できることが示された。 この研究は、低リソースの研究環境にLLMをデプロイするための実践的戦略を強調し、医療AIシステムの効率性とドメイン特殊化のバランスに関する洞察を提供する。

関連論文リスト

• Med-R$^3$: Enhancing Medical Retrieval-Augmented Reasoning of LLMs via Progressive Reinforcement Learning [31.58210903685538]
  本稿では、**Med-R$3$*, a*Med*ical **R**etrieval-augmented **R**easoning framework driven by Progress **R**einforcement learningを紹介する。 本稿ではまず,医学的問題に対する論理的推論を行うモデルの開発を行う。 次に,知識コーパスの特性と外部情報の利用性に適合するように,検索機能を適応的に最適化する。
  論文  参考訳（メタデータ） (2025-07-31T13:31:01Z)
• Investigating Structural Pruning and Recovery Techniques for Compressing Multimodal Large Language Models: An Empirical Study [64.26593350748401]
  MLLM(Multimodal Large Language Models)は印象的な機能を示す。 SLM(Small Language Models)からのMLLMの学習を主とするパラメータ削減技術 本稿では, 構造物の刈り込みと効率的な回復訓練を組み合わせることで, 既存のMLLMを直接圧縮することを提案する。
  論文  参考訳（メタデータ） (2025-07-28T11:57:52Z)
• ReasonMed: A 370K Multi-Agent Generated Dataset for Advancing Medical Reasoning [54.30630356786752]
  ReasonMedは、これまでで最大の医療推論データセットで、370万の高品質な例がある。 マルチエージェント生成、検証、改善プロセスを通じて構築される。 ReasonMedを用いて、簡潔な答えの要約と詳細なCoT推論を統合することで、最も堅牢な微調整結果が得られる。
  論文  参考訳（メタデータ） (2025-06-11T08:36:55Z)
• RARL: Improving Medical VLM Reasoning and Generalization with Reinforcement Learning and LoRA under Data and Hardware Constraints [0.0]
  Reasoning-Aware Reinforcement Learning frameworkは、医療ビジョン言語モデルの推論能力を高める。 低ランク適応とカスタム報酬関数を用いた軽量ベースモデルQwen2-VL-2B-Instructを微調整する。 RARLは医用画像解析および臨床推論におけるVLM性能を著しく改善することを示した。
  論文  参考訳（メタデータ） (2025-06-07T00:26:23Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• QM-ToT: A Medical Tree of Thoughts Reasoning Framework for Quantized Model [15.30318329533069]
  大規模言語モデル(LLM)は、医学的推論に固有の複雑さのために、専門的な生物医学的タスクにおいて重大な課題に直面している。 パスベースの推論フレームワークであるQuantized Medical Tree of Thought (QM-ToT)を提案する。 LLaMA2-70bモデルでは34%から50%,LLaMA-3.1-8bでは58.77%から69.49%に顕著な精度向上を示した。
  論文  参考訳（メタデータ） (2025-04-13T12:32:25Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• Large Language Model Distilling Medication Recommendation Model [58.94186280631342]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。