論文の概要: Sci-LoRA: Mixture of Scientific LoRAs for Cross-Domain Lay Paraphrasing

• arxiv url: http://arxiv.org/abs/2505.18867v1
• Date: Sat, 24 May 2025 21:01:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.70903
• Title: Sci-LoRA: Mixture of Scientific LoRAs for Cross-Domain Lay Paraphrasing
• Title（参考訳）: Sci-LoRA:Cross-Domain Lay Paraphrasingのための科学ロラの混合
• Authors: Ming Cheng, Jiaying Gong, Hoda Eldardiry,
• Abstract要約: Lay paraphrasingは、技術的背景のない科学的情報を聴衆に公開することを目的としている。 Sci-LoRAは、複数の科学領域で微調整されたLoRAの混合物を利用するモデルである。
• 参考スコア（独自算出の注目度）: 5.8398201537012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lay paraphrasing aims to make scientific information accessible to audiences without technical backgrounds. However, most existing studies focus on a single domain, such as biomedicine. With the rise of interdisciplinary research, it is increasingly necessary to comprehend knowledge spanning multiple technical fields. To address this, we propose Sci-LoRA, a model that leverages a mixture of LoRAs fine-tuned on multiple scientific domains. In particular, Sci-LoRA dynamically generates and applies weights for each LoRA, enabling it to adjust the impact of different domains based on the input text, without requiring explicit domain labels. To balance domain-specific knowledge and generalization across various domains, Sci-LoRA integrates information at both the data and model levels. This dynamic fusion enhances the adaptability and performance across various domains. Experimental results across twelve domains on five public datasets show that Sci-LoRA significantly outperforms state-of-the-art large language models and demonstrates flexible generalization and adaptability in cross-domain lay paraphrasing.
• Abstract（参考訳）: Lay paraphrasingは、技術的背景のない科学的情報を聴衆に公開することを目的としている。 しかし、既存の研究のほとんどは、バイオメディシンのような単一のドメインに焦点を当てている。 学際的な研究が盛んになると、複数の技術分野にまたがる知識を理解する必要がある。 そこで本研究では,複数の科学領域で微調整されたLoRAを混合したモデルであるSci-LoRAを提案する。 特に、Sci-LoRAは各LoRAに対して動的に重みを生成して適用することにより、明示的なドメインラベルを必要とせず、入力テキストに基づいて異なるドメインの影響を調整することができる。 ドメイン固有の知識とさまざまなドメイン間の一般化のバランスをとるために、Sci-LoRAはデータレベルとモデルレベルの両方で情報を統合する。 この動的融合は、様々な領域にわたる適応性と性能を高める。 5つのパブリックデータセット上の12ドメインにわたる実験結果から、Sci-LoRAは最先端の大規模言語モデルよりも大幅に優れており、クロスドメインレイパラフレーズにおける柔軟な一般化と適応性を示している。

関連論文リスト

• A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
  大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。 我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
  論文  参考訳（メタデータ） (2024-06-16T08:03:24Z)
• A Unified Data Augmentation Framework for Low-Resource Multi-Domain Dialogue Generation [52.0964459842176]
  現在の最先端の対話システムは、広範なトレーニングデータセットに大きく依存している。 我々はtextbfAMD$2$G と呼ばれる textbfMulti-textbfDomain textbfDialogue textbfGeneration のための新しいデータ textbfAugmentation フレームワークを提案する。 AMD$2$Gフレームワークは、データ拡張プロセスと、ドメインに依存しないトレーニングとドメイン適応トレーニングという2段階のトレーニングアプローチで構成されている。
  論文  参考訳（メタデータ） (2024-06-14T09:52:27Z)
• LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
  LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-18T04:41:25Z)
• Open Domain Generalization with Domain-Augmented Meta-Learning [83.59952915761141]
  オープンドメイン一般化(OpenDG)の新しい実践的問題について研究する。 本稿では,オープンドメイン一般化表現を学ぶためのメタ学習フレームワークを提案する。 種々のマルチドメインデータセットの実験結果から、提案したドメイン拡張メタラーニング(DAML)が、未確認ドメイン認識の先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-08T09:12:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。