論文の概要: TianHui: A Domain-Specific Large Language Model for Diverse Traditional Chinese Medicine Scenarios

• arxiv url: http://arxiv.org/abs/2509.19834v1
• Date: Wed, 24 Sep 2025 07:26:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.718722
• Title: TianHui: A Domain-Specific Large Language Model for Diverse Traditional Chinese Medicine Scenarios
• Title（参考訳）: TianHui: 異種漢方医学シナリオのためのドメイン特有な大規模言語モデル
• Authors: Ji Yin, Menglan He, Yujie Zhang, Linshuai Zhang, Tingting Ma, Ce Tian, Jie Wu, Lin Xu, Tao Jiang,
• Abstract要約: 本研究は、文脈データ統合とドメイン知識融合によって構築された特殊TCM LLMであるTianHuiについて述べる。 大規模TCMコーパス(0.97GBの教師なしデータ+611,312のQAペア)を構築し、QRA、DeepSpeed Stage 2、Flash Attention 2による2段階トレーニング戦略を採用した。
• 参考スコア（独自算出の注目度）: 26.09022068318617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain-specific LLMs in TCM face limitations in research settings due to constrained adaptability, insufficient evaluation datasets, and limited computational resources. This study presents TianHui, a specialized TCM LLM built through contextual data integration and domain knowledge fusion. We constructed a large-scale TCM corpus (0.97GB unsupervised data + 611,312 QA pairs) and employed a two-stage training strategy with QLoRA, DeepSpeed Stage 2, and Flash Attention 2. Evaluation on 12 benchmarks showed TianHui ranked top-three in all metrics for six datasets (APQ, TCMCD, HFR, HCCA, DHPE, TLAW) and achieved top results in the other six (TCMEE, APR, GCPMI, TCMKQA, TCMRC, ADTG). Optimal configuration was identified as LoRA rank=128, alpha=256, epoch=4, dropout=0.2, max length=2048. TianHui enables systematic preservation and scalable application of TCM knowledge. All resources are open-sourced.
• Abstract（参考訳）: TCMのドメイン固有のLLMは、制約付き適応性、不十分な評価データセット、限られた計算資源による研究環境の制限に直面している。 本研究は、文脈データ統合とドメイン知識融合によって構築された特殊TCM LLMであるTianHuiについて述べる。 大規模TCMコーパス(0.97GBの教師なしデータ+611,312のQAペア)を構築し、QLoRA、DeepSpeed Stage 2、Flash Attention 2による2段階トレーニング戦略を採用した。 12ベンチマークの結果,TianHuiは6つのデータセット(APQ, TCMCD, HFR, HCCA, DHPE, TLAW)で上位3位となり,他の6つのデータセット(TCMEE, APR, GCPMI, TCMKQA, TCMRC, ADTG)で上位3位となった。 最適設定は LoRA rank=128, alpha=256, epoch=4, dropout=0.2, max length=2048 と同定された。 TianHuiは、TCM知識の体系的な保存とスケーラブルな応用を可能にする。 すべてのリソースはオープンソースである。

関連論文リスト

• Loong: Synthesize Long Chain-of-Thoughts at Scale through Verifiers [103.4410890572479]
  スケーラブルな合成データ生成と検証のためのオープンソースのフレームワークであるLoong Projectを紹介します。 LoongBenchは、12のドメインにまたがる8,729の人為的なサンプルを含む、キュレートされたシードデータセットである。 LoongEnvはモジュラー合成データ生成環境であり、新しい質問応答コードのトリプルを生成する複数のプロンプト戦略をサポートする。
  論文  参考訳（メタデータ） (2025-09-03T06:42:40Z)
• ShizhenGPT: Towards Multimodal LLMs for Traditional Chinese Medicine [53.91744478760689]
  我々は、中国伝統医学(TCM)に適した最初の多モーダル言語モデルであるシージエンGPTを提示する。 シッシェンGPTは、深いTCM知識とマルチモーダル推論を達成するために、事前訓練され、訓練されている。 実験によると、ShizhenGPTはLLMよりも優れており、より大きなプロプライエタリモデルと競合する。
  論文  参考訳（メタデータ） (2025-08-20T13:30:20Z)
• MTCMB: A Multi-Task Benchmark Framework for Evaluating LLMs on Knowledge, Reasoning, and Safety in Traditional Chinese Medicine [36.08458917280579]
  MTCMBは、知識QA、言語理解、診断推論、処方薬の生成、安全性評価の5つのカテゴリにまたがる12のサブデータセットから構成される。 予備的な結果は、現在のLSMは基礎知識でうまく機能するが、臨床推論、処方薬計画、安全コンプライアンスでは不足していることを示している。
  論文  参考訳（メタデータ） (2025-06-02T02:01:40Z)
• TCM-Ladder: A Benchmark for Multimodal Question Answering on Traditional Chinese Medicine [21.46828174190836]
  我々は,大規模なTCM言語モデルを評価するために特別に設計された,最初のマルチモーダルQAデータセットであるTCM-Ladderを紹介する。 このデータセットは、基礎理論、診断、草本式、内科、外科、薬物療法、小児科を含む、TCMの複数の中核領域にまたがる。 データセットは、自動と手動のフィルタリングプロセスを組み合わせて構築され、合計で52,000以上の質問で構成されている。
  論文  参考訳（メタデータ） (2025-05-29T23:13:57Z)
• LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs -- No Silver Bullet for LC or RAG Routing [70.35888047551643]
  本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。 LaRAは4つのQAタスクカテゴリと3種類の自然発生長文の2326のテストケースを含んでいる。 RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
  論文  参考訳（メタデータ） (2025-02-14T08:04:22Z)
• Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling [69.57918638435491]
  テスト時間スケーリングは、大規模言語モデルの性能を向上させる重要な方法である。 異なるポリシーモデル、PRM、問題の難易度にまたがってテスト時間計算をスケールするための最適なアプローチは何か? 計算-最適TS戦略により、非常に小さなポリシーモデルがより大きなモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-10T17:30:23Z)
• Way to Specialist: Closing Loop Between Specialized LLM and Evolving Domain Knowledge Graph [66.98553434041708]
  Way-to-Specialist(WTS)フレームワークは、知識グラフによる検索拡張生成を相乗化する。 LLM$circlearrowright$KG"パラダイムは、特殊LLMとドメイン知識グラフの双方向化を実現する。
  論文  参考訳（メタデータ） (2024-11-28T11:24:43Z)
• From Holistic to Localized: Local Enhanced Adapters for Efficient Visual Instruction Fine-Tuning [102.18178065928426]
  効率的なビジュアルインストラクションファインタニング(EVIT)は、最小の計算オーバーヘッドで下流タスクにマルチモーダル大言語モデル(MLLM)を適用することを目指している。 本稿では,Dual Low-Rank Adaptation (Dual-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-11-19T11:03:09Z)
• TCMBench: A Comprehensive Benchmark for Evaluating Large Language Models in Traditional Chinese Medicine [19.680694337954133]
  大規模言語モデル(LLM)の専門的評価ベンチマークは、伝統的な中国医学(TCM)領域ではまだカバーされていない。 そこで本研究では,TCMにおけるLLM性能を評価するための総合的なベンチマークであるTCM-Benchを紹介する。 TCM-EDデータセットは、TCM Licensing Exam (TCMLE)から得られた5,473の質問から成り、権威分析を伴う1,300の質問を含む。 質問応答の精度を超えてLLMを評価するために,TCM関連質問に対してLLMが生成する回答の質を評価するための指標であるTCMScoreを提案する。
  論文  参考訳（メタデータ） (2024-06-03T09:11:13Z)
• TCM-GPT: Efficient Pre-training of Large Language Models for Domain Adaptation in Traditional Chinese Medicine [11.537289359051975]
  ドメイン固有コーパスを用いた効率的な事前学習を行うTCMDA(TCM Domain Adaptation)アプローチを提案する。 具体的には、まず、ドメインキーワードを識別し、一般コーパスから再帰することで、TCM固有の大規模コーパスTCM-Corpus-1Bを構築する。 そこで,本TCMDAでは,事前学習および微調整のために,事前学習したモデルの重量を凍結するLoRAを活用し,ランク分解行列を用いて特定の密度層を効率的に訓練する。
  論文  参考訳（メタデータ） (2023-11-03T08:54:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。