論文の概要: Sci-LoRA: Mixture of Scientific LoRAs for Cross-Domain Lay Paraphrasing

• arxiv url: http://arxiv.org/abs/2505.18867v1
• Date: Sat, 24 May 2025 21:01:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.70903
• Title: Sci-LoRA: Mixture of Scientific LoRAs for Cross-Domain Lay Paraphrasing
• Title（参考訳）: Sci-LoRA:Cross-Domain Lay Paraphrasingのための科学ロラの混合
• Authors: Ming Cheng, Jiaying Gong, Hoda Eldardiry,
• Abstract要約: Lay paraphrasingは、技術的背景のない科学的情報を聴衆に公開することを目的としている。 Sci-LoRAは、複数の科学領域で微調整されたLoRAの混合物を利用するモデルである。
• 参考スコア（独自算出の注目度）: 5.8398201537012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lay paraphrasing aims to make scientific information accessible to audiences without technical backgrounds. However, most existing studies focus on a single domain, such as biomedicine. With the rise of interdisciplinary research, it is increasingly necessary to comprehend knowledge spanning multiple technical fields. To address this, we propose Sci-LoRA, a model that leverages a mixture of LoRAs fine-tuned on multiple scientific domains. In particular, Sci-LoRA dynamically generates and applies weights for each LoRA, enabling it to adjust the impact of different domains based on the input text, without requiring explicit domain labels. To balance domain-specific knowledge and generalization across various domains, Sci-LoRA integrates information at both the data and model levels. This dynamic fusion enhances the adaptability and performance across various domains. Experimental results across twelve domains on five public datasets show that Sci-LoRA significantly outperforms state-of-the-art large language models and demonstrates flexible generalization and adaptability in cross-domain lay paraphrasing.
• Abstract（参考訳）: Lay paraphrasingは、技術的背景のない科学的情報を聴衆に公開することを目的としている。 しかし、既存の研究のほとんどは、バイオメディシンのような単一のドメインに焦点を当てている。 学際的な研究が盛んになると、複数の技術分野にまたがる知識を理解する必要がある。 そこで本研究では,複数の科学領域で微調整されたLoRAを混合したモデルであるSci-LoRAを提案する。 特に、Sci-LoRAは各LoRAに対して動的に重みを生成して適用することにより、明示的なドメインラベルを必要とせず、入力テキストに基づいて異なるドメインの影響を調整することができる。 ドメイン固有の知識とさまざまなドメイン間の一般化のバランスをとるために、Sci-LoRAはデータレベルとモデルレベルの両方で情報を統合する。 この動的融合は、様々な領域にわたる適応性と性能を高める。 5つのパブリックデータセット上の12ドメインにわたる実験結果から、Sci-LoRAは最先端の大規模言語モデルよりも大幅に優れており、クロスドメインレイパラフレーズにおける柔軟な一般化と適応性を示している。

関連論文リスト

• Separating Shared and Domain-Specific LoRAs for Multi-Domain Learning [10.633658984629696]
  本稿では,共有とドメイン固有のLoRAが異なる部分空間に存在することを保証する手法を提案する。 提案手法を3つのデータセットを用いた行動認識に適用する。
  論文  参考訳（メタデータ） (2025-08-05T01:04:32Z)
• Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
  Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。 最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。 効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。 各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T06:56:39Z)
• SciDFM: A Large Language Model with Mixture-of-Experts for Science [18.748699390397363]
  我々は,SciDFMを紹介した。SciDFMは,スクラッチから訓練され,大学レベルの科学的推論を行うことができる。 ドメイン固有のデータベースのデータだけでなく、さまざまな分野の科学論文や書籍を含む大規模学習コーパスを収集する。 SciDFMはSciEvalやSciQなどの一般的な科学的ベンチマークにおいて高い性能を示し、類似サイズのモデル間のドメイン固有ベンチマークにおいてSOTA性能に達することを示す。
  論文  参考訳（メタデータ） (2024-09-27T03:00:29Z)
• A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
  大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。 我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
  論文  参考訳（メタデータ） (2024-06-16T08:03:24Z)
• A Unified Data Augmentation Framework for Low-Resource Multi-Domain Dialogue Generation [52.0964459842176]
  現在の最先端の対話システムは、広範なトレーニングデータセットに大きく依存している。 我々はtextbfAMD$2$G と呼ばれる textbfMulti-textbfDomain textbfDialogue textbfGeneration のための新しいデータ textbfAugmentation フレームワークを提案する。 AMD$2$Gフレームワークは、データ拡張プロセスと、ドメインに依存しないトレーニングとドメイン適応トレーニングという2段階のトレーニングアプローチで構成されている。
  論文  参考訳（メタデータ） (2024-06-14T09:52:27Z)
• LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
  LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-18T04:41:25Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)
• Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。 広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。 しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
  論文  参考訳（メタデータ） (2023-05-30T03:00:30Z)
• Open Domain Generalization with Domain-Augmented Meta-Learning [83.59952915761141]
  オープンドメイン一般化(OpenDG)の新しい実践的問題について研究する。 本稿では,オープンドメイン一般化表現を学ぶためのメタ学習フレームワークを提案する。 種々のマルチドメインデータセットの実験結果から、提案したドメイン拡張メタラーニング(DAML)が、未確認ドメイン認識の先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-08T09:12:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。