論文の概要: Magical: Medical Lay Language Generation via Semantic Invariance and Layperson-tailored Adaptation

• arxiv url: http://arxiv.org/abs/2508.08730v1
• Date: Tue, 12 Aug 2025 08:21:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.348299
• Title: Magical: Medical Lay Language Generation via Semantic Invariance and Layperson-tailored Adaptation
• Title（参考訳）: Magical: セマンティック不変性とレイパーソナライズ適応による医療用レイ言語生成
• Authors: Weibin Liao, Tianlong Wang, Yinghao Zhu, Yasha Wang, Junyi Gao, Liantao Ma,
• Abstract要約: MLLG(Messical Lay Language Generation)は、科学コンテンツへのアクセス性向上に重要な役割を担っている。 近年のMLLGの文献では、Low-Rank Adaptation (LoRA) のようなパラメータ効率のよい微調整法が一般的である。 LoRAは、マルチソースの異種MLLGデータセットによって引き起こされる課題に対処する。 異種データシナリオ下でMLLGに適した非対称LoRAアーキテクチャであるMagicalを提案する。
• 参考スコア（独自算出の注目度）: 9.167667592583514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical Lay Language Generation (MLLG) plays a vital role in improving the accessibility of complex scientific content for broader audiences. Recent literature to MLLG commonly employ parameter-efficient fine-tuning methods such as Low-Rank Adaptation (LoRA) to fine-tuning large language models (LLMs) using paired expert-lay language datasets. However, LoRA struggles with the challenges posed by multi-source heterogeneous MLLG datasets. Specifically, through a series of exploratory experiments, we reveal that standard LoRA fail to meet the requirement for semantic fidelity and diverse lay-style generation in MLLG task. To address these limitations, we propose Magical, an asymmetric LoRA architecture tailored for MLLG under heterogeneous data scenarios. Magical employs a shared matrix $A$ for abstractive summarization, along with multiple isolated matrices $B$ for diverse lay-style generation. To preserve semantic fidelity during the lay language generation process, Magical introduces a Semantic Invariance Constraint to mitigate semantic subspace shifts on matrix $A$. Furthermore, to better adapt to diverse lay-style generation, Magical incorporates the Recommendation-guided Switch, an externally interface to prompt the LLM to switch between different matrices $B$. Experimental results on three real-world lay language generation datasets demonstrate that Magical consistently outperforms prompt-based methods, vanilla LoRA, and its recent variants, while also reducing trainable parameters by 31.66%.
• Abstract（参考訳）: MLLG(Malical Lay Language Generation)は、複雑な科学コンテンツへのアクセシビリティ向上に重要な役割を担っている。 近年のMLLGの文献では、Low-Rank Adaptation (LoRA) のようなパラメータ効率のよい微調整手法を用いて、ペア化されたエキスパート・レイ言語データセットを用いて大規模言語モデル(LLM)を微調整している。 しかし、LoRAはマルチソースの異種MLLGデータセットによってもたらされる課題に苦慮している。 具体的には、一連の探索実験を通して、MLLGタスクにおける意味的忠実さと多様なレイスタイル生成の要件を満たすことができず、標準のLoRAが失敗することを明らかにする。 これらの制約に対処するため、異種データシナリオ下でMLLGに適した非対称LoRAアーキテクチャであるMagicalを提案する。 Magicalは抽象的な要約のために共有行列$A$と、多種多様なレイスタイル生成のために複数の孤立行列$B$を使用している。 レイ言語生成プロセスにおける意味的忠実性を維持するため、Magicalはセマンティック不変性制約を導入し、行列$A$のセマンティック部分空間シフトを緩和する。 さらに、多様なレイスタイルの生成に適応するために、MagicalにはRecommendation-guided Switchが組み込まれている。 3つの実世界のレイ言語生成データセットの実験結果によると、Magicalはプロンプトベースのメソッド、バニラLoRAとその最近の変種を一貫して上回り、トレーニング可能なパラメータを31.66%削減している。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages [10.418542753869433]
  低リソース言語(LRL)は、限られたデータのために自然言語処理(NLP)において重大な課題に直面している。 現在の最先端の大規模言語モデル(LLM)は、まだLRLと競合している。 mBERTやXLM-Rのような小さなマルチリンガルモデル(mLM)は、トレーニングデータサイズに適合する能力が向上するため、より有望である。
  論文  参考訳（メタデータ） (2025-02-14T13:10:39Z)
• LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation [57.49045064294086]
  大きな言語モデル(LLM)は、その人気とは無関係に、アイテム間の意味的関係をキャプチャする能力を持つ。 LLMEmb(LLMEmb)は、LCMを利用してアイテム埋め込みを生成し、逐次レコメンダシステム(SRS)の性能を向上させる手法である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models [13.660511750245245]
  この研究は、バイアス継承に対抗するために設計された新しいPEFT法であるBias-Alleviating Low-Rank Adaptation (BA-LoRA)を導入している。 BA-LoRAは、(1)整合正則化器、(2)多様性正則化器、(3)特異値分解正則化器の3つの異なる正則化項を含む。 その結果、BA-LoRAはLoRAとその最先端の変種よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-08T16:13:26Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Condensing Multilingual Knowledge with Lightweight Language-Specific Modules [52.973832863842546]
  本稿では,Language-Specific Matrix Synthesis (LMS)法を紹介する。 このアプローチは、2つのかなり小さな行列から低ランク行列を生成することでLSモジュールを構築する。 複数のLSモジュールからの多言語知識を、Fuse Distillation (FD) 技術を用いて単一の共有モジュールに格納する。
  論文  参考訳（メタデータ） (2023-05-23T12:21:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。