論文の概要: Bridging the English-Arabic Medical Knowledge Gap: Targeted Low-Rank Adaptation via Causal Layer Selection
- arxiv url: http://arxiv.org/abs/2608.00207v1
- Date: Fri, 31 Jul 2026 18:43:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.5498
- Title: Bridging the English-Arabic Medical Knowledge Gap: Targeted Low-Rank Adaptation via Causal Layer Selection
- Title（参考訳）: 英語・アラビア語医学知識ギャップのブリッジ:因果層選択による低ランク適応を目指して
- Authors: Chaimae Abouzahir, Musa Khan, Hala Ali-Hassan, Congbo Ma, Khaled Saleh, Yousra Sadqi, Jihad Mallat, Walid Al-Eisawi, Nizar Habash, Farah E. Shamout,
- Abstract要約: 大きな言語モデル (LLM) は、英語の医学的タスクにおいて強く機能するが、アラビア語では著しく低下する。
我々は、この仮定を、調整レンズ探索と因果活性化パッチングを用いて検討する。
本稿では,言語間表現が分散するレイヤウィンドウに制限されたTLoRA(Targeted Low-Rank Adaptation)を提案する。
- 参考スコア（独自算出の注目度）: 10.674512408815836
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) perform strongly in English medical tasks but degrade substantially in Arabic, a gap widely attributed to limited training data. We systematically investigate this assumption via tuned lens probing and causal activation patching, and find that Arabic medical knowledge is present in intermediate model representations but fails to surface at the output. This mechanistic insight motivates a targeted adaptation strategy: rather than fine-tuning the full network, we propose Targeted Low-Rank Adaptation (TLoRA), restricted to the layer window where cross-lingual representations diverge, upstream of the output layers where the failure manifests. We evaluate TLoRA on multiple-choice medical QA, where our approach outperforms full-network LoRA, zero-shot, and few-shot baselines. We further evaluate it on short-answer generation and multi-turn clinical dialogue, where it performs competitively without the need for task-specific finetuning. We additionally introduce AraClinicDialog, a clinician-constructed Arabic medical dialogue benchmark in MSA with validated variants across four Arabic dialects. Together, these contributions demonstrate that mechanistic diagnosis can serve as a practical guide for targeted adaptation in underrepresented-language medical LLMs.
- Abstract（参考訳）: 大きな言語モデル (LLMs) は、英語の医学的タスクでは強力に機能するが、アラビア語では著しく低下する。
我々は、この仮定を、調整レンズ探索と因果活性化パッチにより体系的に検討し、中間モデル表現にアラビア医学知識が存在するが、出力には表れていないことを発見した。
完全なネットワークを微調整するのではなく、言語間表現が分岐する層ウィンドウに制限されたターゲット型低ランク適応(TLoRA)を提案する。
提案手法は全ネットワークのLORA, ゼロショット, 少数ショットのベースラインよりも優れている。
さらに,タスク固有の微調整を必要とせずに,短時間の回答生成と多ターン臨床対話で評価を行った。
さらに,4つのアラビア方言にまたがる変種を検証した,MSAにおける臨床構築アラビア語医療対話ベンチマークであるAraClinicDialogを紹介した。
これらの貢献により、機械的診断は、表現不足の言語医学 LLM におけるターゲット適応の実践的ガイドとして役立つことが示されている。
関連論文リスト
- Artificial Intolerance: Stigmatizing Language in Clinical Documentation Skews Large Language Model Decision-Making [13.79732306725696]
大規模言語モデル(LLM)は、臨床上の意思決定支援や医療ドキュメントなど、高度な領域にますます展開されている。
臨床テキストの処理において、フロンティアLSMが人間のバイアスを継承し、伝播するかどうかを検討する。
論文 参考訳（メタデータ） (2026-05-17T02:28:25Z) - To Adapt or not to Adapt, Rethinking the Value of Medical Knowledge-Aware Large Language Models [0.7939766248249879]
近年の研究では、標準医療ベンチマークにおいて、ドメイン適応型大規模言語モデル(LLM)が汎用モデルよりも一貫して優れているわけではないことが示されている。
本研究は,英語とスペイン語の多種多様な臨床質問応答課題に対する総合的および臨床的LLMの比較である。
論文 参考訳（メタデータ） (2026-04-08T09:17:55Z) - MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning [52.064286116035134]
我々はMed-VQA(Med-VQA)のための視覚的LVLM応答を保証するフレームワークであるMedAlignを開発した。
まず、優先学習を視覚的コンテキストに合わせるために、マルチモーダルな直接選好最適化(mDPO)の目的を提案する。
次に、画像とテキストの類似性を生かし、クエリを専門的でコンテキスト拡張されたLVLMにルーティングする検索型混合処理(RA-MoE)アーキテクチャを設計する。
論文 参考訳（メタデータ） (2025-10-24T02:11:05Z) - SwasthLLM: a Unified Cross-Lingual, Multi-Task, and Meta-Learning Zero-Shot Framework for Medical Diagnosis Using Contrastive Representations [0.4077787659104315]
SwasthLLMは、医用診断のための統一、ゼロショット、クロスランガル、マルチタスク学習フレームワークである。
英語、ヒンディー語、ベンガル語で、言語固有の微調整を必要としない。
SwasthLLMは97.22%、F1スコア97.17%という高い診断性能を達成している。
論文 参考訳（メタデータ） (2025-09-24T21:20:49Z) - Applications of Small Language Models in Medical Imaging Classification with a Focus on Prompt Strategies [9.1953139634128]
本研究では,医療画像分類作業における小言語モデル(SLM)の性能について検討する。
NIH Chest X-ray データセットを用いて胸部X線位置を分類する作業において,複数のSLMを評価した。
以上の結果から,一部のSLMは良好なプロンプトで競合精度を達成できることがわかった。
論文 参考訳（メタデータ） (2025-08-18T21:48:45Z) - Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
言語混乱に関する最初の機械論的解釈可能性研究について述べる。
混乱点(CP)がこの現象の中心であることを示す。
比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
論文 参考訳（メタデータ） (2025-05-22T11:29:17Z) - Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。
本稿では,構造化医療推論を利用した新しいアプローチを提案する。
我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
論文 参考訳（メタデータ） (2025-03-05T05:24:55Z) - LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。
本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。
実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
論文 参考訳（メタデータ） (2025-01-07T08:49:04Z) - Multi-OphthaLingua: A Multilingual Benchmark for Assessing and Debiasing LLM Ophthalmological QA in LMICs [3.1894617416005855]
大型言語モデル(LLM)は、様々な眼科手術を自動化するための有望なソリューションを提供する。
LLMは、自然言語の問合せタスクにおいて、様々な言語で顕著に異なる性能を示してきた。
本研究は,複数言語にまたがる質問を手作業でキュレートした,最初の多言語眼科的質問答えベンチマークを提案する。
論文 参考訳（メタデータ） (2024-12-18T20:18:03Z) - Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。
ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
論文 参考訳（メタデータ） (2024-10-21T07:19:19Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳（メタデータ） (2024-02-15T06:46:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。