論文の概要: Domain-Specific Jargon in Large Language Models: A Comparative Analysis between General-Purpose and Specialist Models
- arxiv url: http://arxiv.org/abs/2609.13556v1
- Date: Fri, 11 Sep 2026 21:35:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.393981
- Title: Domain-Specific Jargon in Large Language Models: A Comparative Analysis between General-Purpose and Specialist Models
- Title（参考訳）: 大規模言語モデルにおけるドメイン特化ジャーゴン:汎用モデルとスペシャリストモデルの比較分析
- Abstract要約: 本研究は、2つの新しい医療ジャーゴン評価ベンチマークに寄与し、医療ドメインデータに基づいて微調整された変種に対して汎用的なLlama-3.1モデルを評価する。
驚いたことに、汎用モデルは両方のタスクにおいて、医療的に微調整されたモデルよりも優れています。
ジャーゴンに敏感ないくつかのコンポーネントは、知識を材料科学のジャーゴンを含む同じタスクに伝達し、専門用語の領域に依存しない概念を符号化している。
- 参考スコア（独自算出の注目度）: 1.503974529275767
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have shown remarkable proficiency on general-purpose tasks, yet their performance often degrades in highly-specialized technical domains. Moreover, little is known about how parametric knowledge of domain-specific terms is encoded within these models. We address this gap by contributing two novel medical jargon evaluation benchmarks and evaluate a general-purpose Llama-3.1 model against a variant fine-tuned on medical-domain data. Surprisingly, the general-purpose model outperforms the medically fine-tuned model on both tasks. Using mechanistic interpretability tools, we find systematic patterns of miscalibration for the medically fine-tuned model. Instead of reorganizing parametric knowledge, the fine-tuned model places greater emphasis on a small subset of model components associated with jargon-favoring predictions. We find that applying component reweighting strategies against the benchmark tasks successfully suppresses these components and closes the gap with the general-purpose baseline. We also observe that some jargon-sensitive components transfer knowledge to the same tasks involving materials science jargon, suggesting they encode a partially domain-agnostic notion of specialized terminology. Our results provide a case study in which a medically fine-tuned checkpoint does not improve jargon comprehension over its general-purpose counterpart, highlighting that domain adaptation should not be assumed to yield better performance on specialized terminology.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、汎用タスクにおいて顕著な熟練度を示してきたが、その性能は、高度に専門化された技術的領域において劣化することが多い。
さらに、これらのモデルにおいてドメイン固有項のパラメトリック知識がどのように符号化されているかについては、ほとんど分かっていない。
このギャップは、2つの新しい医療ジャーゴン評価ベンチマークに寄与し、医療ドメインデータに基づいて微調整された変種に対して汎用的なLlama-3.1モデルを評価することで解決される。
驚いたことに、汎用モデルは両方のタスクにおいて、医療的に微調整されたモデルよりも優れています。
機械的解釈可能性ツールを用いて、医学的に微調整されたモデルに対する誤校正の系統的パターンを見出す。
パラメトリックな知識を再編成する代わりに、微調整されたモデルは、ジャーゴンが好む予測に関連するモデルのコンポーネントの小さなサブセットにより重点を置いている。
ベンチマークタスクに対するコンポーネント再重み付け戦略の適用は,これらのコンポーネントの抑制に成功し,汎用ベースラインとのギャップを埋めることが判明した。
また、ジャーゴンに敏感ないくつかのコンポーネントが、物質科学のジャーゴンを含む同じタスクに知識を伝達し、専門用語の領域に依存しない概念を符号化することを示唆している。
本研究は、医学的に微調整されたチェックポイントが、汎用的なツールゴン理解を改善しないケーススタディであり、ドメイン適応が専門用語でより良いパフォーマンスをもたらすと仮定すべきでないことを強調した。
関連論文リスト
- Agentic Adversarial QA for Improving Domain-Specific LLMs [53.00642389531106]
大規模言語モデル(LLM)は、しばしば専門分野に効果的に対応するのに苦労する。
本稿では,意味論的課題の集合をコンパクトに生成する逆問題生成フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-20T10:53:09Z) - Specialised or Generic? Tokenization Choices for Radiology Language Models [2.081299660192454]
言語モデル(LM)が使用する語彙は、テキスト生成の品質において重要な役割を果たす。
放射線診断のタスクにおける一般,医療,ドメイン特異的なトークン化剤は,3つの画像モダリティにまたがって要約を報告する。
以上の結果から, 医学的, 専門的な語彙は, モデルがゼロから訓練されたとき, 広く使われている自然言語の代替語よりも優れていた。
論文 参考訳（メタデータ） (2025-08-13T17:13:56Z) - Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models [68.57424628540907]
大規模言語モデル(LLM)は、しばしば特定のデータセットに特化した学習メカニズムを開発する。
本稿では,データセット固有のメカニズムに関連するニューロンの同定と解析により,一般化の促進を目的とした微調整手法を提案する。
本手法では,各ニューロンの高信頼度予測への影響を定量化するため,データセット固有の性能に不均等に寄与するニューロンを同定する。
論文 参考訳（メタデータ） (2025-07-12T08:10:10Z) - Semantic Alignment of Unimodal Medical Text and Vision Representations [1.8848810602776873]
汎用AIモデルは、セマンティックな関連データを処理する際に、同様の潜在空間を示すことができる。
我々は、汎用AIを専門の医療知識で橋渡しできるセマンティックアライメントについて述べる。
モダリティ間のセマンティックアライメントを利用する一元視覚エンコーダの新しいゼロショット分類手法を提案する。
論文 参考訳（メタデータ） (2025-03-06T14:28:17Z) - LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。
我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。
LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
論文 参考訳（メタデータ） (2024-09-29T03:56:21Z) - Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。
本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。
その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
論文 参考訳（メタデータ） (2024-07-30T08:50:16Z) - Fine-Tuning Medical Language Models for Enhanced Long-Contextual Understanding and Domain Expertise [2.1869349221557814]
大規模言語モデル(LLM)は様々な専門分野に広く応用されている。
特定のドメイン知識の改善にもかかわらず,長期理解における医学的LLMの性能は著しく低下している。
論文 参考訳（メタデータ） (2024-07-16T09:37:20Z) - Generalist embedding models are better at short-context clinical
semantic search than specialized embedding models [0.9296448006507203]
ICD-10-CMのコード記述と容易に再現可能な言い換えに基づくデータセットを構築する。
セマンティックサーチタスクにおいて、ジェネラリストまたは臨床領域専門の既存の埋め込みモデルをベンチマークした。
その結果、ジェネラリストモデルは臨床モデルよりも優れており、既存の臨床特化モデルは、それらを混乱させる入力の小さな変化に対してより敏感であることが示唆された。
論文 参考訳（メタデータ） (2024-01-03T19:03:32Z) - An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。
近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。
これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文 参考訳（メタデータ） (2023-04-17T17:13:42Z) - ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。
ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。
実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
論文 参考訳（メタデータ） (2022-06-24T08:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。