論文の概要: Synergy over Discrepancy: A Partition-Based Approach to Multi-Domain LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2511.07198v2
• Date: Wed, 12 Nov 2025 01:58:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 16:10:52.980689
• Title: Synergy over Discrepancy: A Partition-Based Approach to Multi-Domain LLM Fine-Tuning
• Title（参考訳）: 離散性に関するシナジー:マルチドメインLDMファインチューニングへの分割に基づくアプローチ
• Authors: Hua Ye, Siyuan Chen, Haoliang Zhang, Weihao Luo, Yanbin Li, Xuan Zhang,
• Abstract要約: 大規模言語モデル(LLM)は印象的な一般化能力を示すが、複数の異種ドメインに効果的に適用することは困難である。 負の転送を最小限に抑えつつドメイン間シナジーを生かした分割型多段階微調整フレームワークを提案する。 私たちのアプローチでは、ドメインの相違、シナジー、モデルキャパシティの制約のバランスをとることによって、ドメインを(ステージ)に戦略的に分割します。
• 参考スコア（独自算出の注目度）: 9.97195966127976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) demonstrate impressive generalization abilities, yet adapting them effectively across multiple heterogeneous domains remains challenging due to inter-domain interference. To overcome this challenge, we propose a partition-based multi-stage fine-tuning framework designed to exploit inter-domain synergies while minimizing negative transfer. Our approach strategically partitions domains into subsets (stages) by balancing domain discrepancy, synergy, and model capacity constraints. We theoretically analyze the proposed framework and derive novel generalization bounds that justify our partitioning strategy. Extensive empirical evaluations on various language understanding tasks show that our method consistently outperforms state-of-the-art baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、印象的な一般化能力を示すが、ドメイン間干渉のため、複数の異種ドメインに効果的に適応することは困難である。 この課題を克服するために、負の転送を最小限に抑えつつドメイン間シナジーを活用できるパーティションベースの多段階微調整フレームワークを提案する。 私たちのアプローチでは、ドメインの相違、シナジー、モデルキャパシティの制約のバランスをとることによって、ドメインを(ステージ)に戦略的に分割します。 提案するフレームワークを理論的に分析し,分割戦略を正当化する新たな一般化境界を導出する。 様々な言語理解タスクに対する広範な経験的評価は、我々の手法が常に最先端のベースラインを上回っていることを示している。

関連論文リスト

• Enhancing Multimodal Emotion Recognition through Multi-Granularity Cross-Modal Alignment [10.278127492434297]
  本稿では、分散ベース、インスタンスベース、トークンベースのアライメントモジュールを含む包括的アプローチにより、MGCMA(Multi-Granularity Cross-Modal Alignment)フレームワークを紹介する。 IEMOCAPに関する実験により,提案手法が現状技術より優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-30T09:30:41Z)
• From Deterministic to Probabilistic: A Novel Perspective on Domain Generalization for Medical Image Segmentation [1.93061220186624]
  本稿では,確率論的モデリングとコントラスト学習によってデータ表現品質を向上させる革新的なフレームワークを提案する。 具体的には、決定論的特徴と不確実性モデリングを組み合わせることで、包括的特徴分布を捉える。 提案手法はセグメンテーション性能を著しく向上させ,医用画像セグメンテーションにおける領域一般化問題に対する堅牢な解決策を提供する。
  論文  参考訳（メタデータ） (2024-12-07T07:41:04Z)
• Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
  Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。 これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
  論文  参考訳（メタデータ） (2024-04-10T16:44:11Z)
• Cross Contrasting Feature Perturbation for Domain Generalization [11.863319505696184]
  ドメインの一般化は、目に見えないターゲットドメインをうまく一般化するソースドメインから堅牢なモデルを学ぶことを目的としています。 近年の研究では、ソースドメインに相補的な分布を多様化するための新しいドメインサンプルや特徴の生成に焦点が当てられている。 ドメインシフトをシミュレートするオンラインワンステージクロスコントラスト機能摂動フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-24T03:27:41Z)
• Joint covariate-alignment and concept-alignment: a framework for domain generalization [28.391072289529053]
  未知の領域に対するリスクに対する新たな上限に基づく新しいドメイン一般化フレームワークを提案する。 以上の結果から,提案手法は,複数のデータセット上での領域一般化の最先端技術と同等以上の性能を示すことが示された。
  論文  参考訳（メタデータ） (2022-08-01T14:39:35Z)
• Variational Disentanglement for Domain Generalization [68.85458536180437]
  本稿では,変分拡散ネットワーク(VDN)という効果的なフレームワークを提供することにより,領域一般化の課題に取り組むことを提案する。 VDNは、ドメイン固有の機能とタスク固有の機能を切り離し、タスク固有のフィーチャは、見えないが関連するテストデータにより良い一般化が期待できる。
  論文  参考訳（メタデータ） (2021-09-13T09:55:32Z)
• Structured Latent Embeddings for Recognizing Unseen Classes in Unseen Domains [108.11746235308046]
  本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。 挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-07-12T17:57:46Z)
• Model-Based Domain Generalization [96.84818110323518]
  本稿では,モデルベースドメイン一般化問題に対する新しいアプローチを提案する。 我々のアルゴリズムは、最新のwildsベンチマークの最先端手法を最大20ポイント上回った。
  論文  参考訳（メタデータ） (2021-02-23T00:59:02Z)
• Cross-Domain Grouping and Alignment for Domain Adaptive Semantic Segmentation [74.3349233035632]
  深層畳み込みニューラルネットワーク(CNN)内のソースドメインとターゲットドメインにセマンティックセグメンテーションネットワークを適用する既存の技術は、対象ドメイン自身や推定カテゴリ内のクラス間変異を考慮していない。 学習可能なクラスタリングモジュールと、クロスドメイングルーピングとアライメントと呼ばれる新しいドメイン適応フレームワークを導入する。 本手法はセマンティクスセグメンテーションにおける適応性能を一貫して向上させ,様々なドメイン適応設定において最先端を上回っている。
  論文  参考訳（メタデータ） (2020-12-15T11:36:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。