論文の概要: Synergy over Discrepancy: A Partition-Based Approach to Multi-Domain LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2511.07198v2
• Date: Wed, 12 Nov 2025 01:58:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 16:10:52.980689
• Title: Synergy over Discrepancy: A Partition-Based Approach to Multi-Domain LLM Fine-Tuning
• Title（参考訳）: 離散性に関するシナジー:マルチドメインLDMファインチューニングへの分割に基づくアプローチ
• Authors: Hua Ye, Siyuan Chen, Haoliang Zhang, Weihao Luo, Yanbin Li, Xuan Zhang,
• Abstract要約: 大規模言語モデル(LLM)は印象的な一般化能力を示すが、複数の異種ドメインに効果的に適用することは困難である。 負の転送を最小限に抑えつつドメイン間シナジーを生かした分割型多段階微調整フレームワークを提案する。 私たちのアプローチでは、ドメインの相違、シナジー、モデルキャパシティの制約のバランスをとることによって、ドメインを(ステージ)に戦略的に分割します。
• 参考スコア（独自算出の注目度）: 9.97195966127976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) demonstrate impressive generalization abilities, yet adapting them effectively across multiple heterogeneous domains remains challenging due to inter-domain interference. To overcome this challenge, we propose a partition-based multi-stage fine-tuning framework designed to exploit inter-domain synergies while minimizing negative transfer. Our approach strategically partitions domains into subsets (stages) by balancing domain discrepancy, synergy, and model capacity constraints. We theoretically analyze the proposed framework and derive novel generalization bounds that justify our partitioning strategy. Extensive empirical evaluations on various language understanding tasks show that our method consistently outperforms state-of-the-art baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、印象的な一般化能力を示すが、ドメイン間干渉のため、複数の異種ドメインに効果的に適応することは困難である。 この課題を克服するために、負の転送を最小限に抑えつつドメイン間シナジーを活用できるパーティションベースの多段階微調整フレームワークを提案する。 私たちのアプローチでは、ドメインの相違、シナジー、モデルキャパシティの制約のバランスをとることによって、ドメインを(ステージ)に戦略的に分割します。 提案するフレームワークを理論的に分析し,分割戦略を正当化する新たな一般化境界を導出する。 様々な言語理解タスクに対する広範な経験的評価は、我々の手法が常に最先端のベースラインを上回っていることを示している。

関連論文リスト

• Multi-Paradigm Collaborative Adversarial Attack Against Multi-Modal Large Language Models [67.45032003041399]
  本稿では,MLLMに対する敵例の転送可能性を高めるために,MPCAttack(Multi-Paradigm Collaborative Attack)フレームワークを提案する。 MPCOは異なるパラダイム表現の重要性を適応的にバランスさせ、グローバルな最適化を導く。 我々のソリューションは、オープンソースおよびクローズドソースMLLMに対する標的および未ターゲットの攻撃において、常に最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2026-03-05T06:01:26Z)
• Reasoning-Driven Multimodal LLM for Domain Generalization [72.00754603114187]
  DomainBed-Reasoning データセットを用いた領域一般化における推論の役割について検討する。 MTCT(Multi-Task Cross-Training)とSARR(Self-Aligned Reasoning Regularization)の2つのコンポーネントからなるフレームワークであるRD-MLDGを提案する。 標準のDomainBedデータセットの実験は、RD-MLDGが補完的な最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2026-02-27T08:10:06Z)
• Open-Vocabulary Domain Generalization in Urban-Scene Segmentation [83.15573353963235]
  セマンティックドメインのドメイン一般化(DG-SS)は、セグメント化モデルが目に見えない環境で堅牢に動作できるようにすることを目的としている。 VLM(Vision-Language Models)の最近の進歩は、モデルがより広い範囲の概念を認識できるようにすることにより、OV-SS(Open-Vocabulary Semantic)が進歩している。 しかし、これらのモデルはドメインシフトに敏感であり、目に見えない環境にデプロイされた場合、堅牢性を維持するのに苦労する。 状態空間駆動型テキスト画像相関改善機構であるS2-Corrを提案する。
  論文  参考訳（メタデータ） (2026-02-21T14:32:27Z)
• Modality-Collaborative Low-Rank Decomposers for Few-Shot Video Domain Adaptation [74.16390314862801]
  FSVDA(Few-Shot Video Domain Adaptation)の課題について検討する。 モダリティ・ユニクティック・モダリティ・共有特徴を分解するために,モダリティ・コラボレーティブ・ローランク・デコンポスタ(MC-LRD)の新たなフレームワークを導入する。 我々のモデルは既存の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-11-24T03:09:59Z)
• Enhancing Generalization in Chain of Thought Reasoning for Smaller Models [5.297025364137428]
  より小さな言語モデルにおけるChain-of-Thought (CoT)推論は、自然言語処理の問題である。 既存のCOT知識蒸留法は、小規模のLLMにおいて過度に保守的な適応性に悩まされることが多い。 多様なCoTドメインを統合した原理的な微調整フレームワークであるPRADAを提案する。
  論文  参考訳（メタデータ） (2025-01-16T19:23:11Z)
• Enhancing Multimodal Emotion Recognition through Multi-Granularity Cross-Modal Alignment [10.278127492434297]
  本稿では、分散ベース、インスタンスベース、トークンベースのアライメントモジュールを含む包括的アプローチにより、MGCMA(Multi-Granularity Cross-Modal Alignment)フレームワークを紹介する。 IEMOCAPに関する実験により,提案手法が現状技術より優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-30T09:30:41Z)
• From Deterministic to Probabilistic: A Novel Perspective on Domain Generalization for Medical Image Segmentation [1.93061220186624]
  本稿では,確率論的モデリングとコントラスト学習によってデータ表現品質を向上させる革新的なフレームワークを提案する。 具体的には、決定論的特徴と不確実性モデリングを組み合わせることで、包括的特徴分布を捉える。 提案手法はセグメンテーション性能を著しく向上させ,医用画像セグメンテーションにおける領域一般化問題に対する堅牢な解決策を提供する。
  論文  参考訳（メタデータ） (2024-12-07T07:41:04Z)
• Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
  Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。 これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
  論文  参考訳（メタデータ） (2024-04-10T16:44:11Z)
• Cross Contrasting Feature Perturbation for Domain Generalization [11.863319505696184]
  ドメインの一般化は、目に見えないターゲットドメインをうまく一般化するソースドメインから堅牢なモデルを学ぶことを目的としています。 近年の研究では、ソースドメインに相補的な分布を多様化するための新しいドメインサンプルや特徴の生成に焦点が当てられている。 ドメインシフトをシミュレートするオンラインワンステージクロスコントラスト機能摂動フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-24T03:27:41Z)
• Joint covariate-alignment and concept-alignment: a framework for domain generalization [28.391072289529053]
  未知の領域に対するリスクに対する新たな上限に基づく新しいドメイン一般化フレームワークを提案する。 以上の結果から,提案手法は,複数のデータセット上での領域一般化の最先端技術と同等以上の性能を示すことが示された。
  論文  参考訳（メタデータ） (2022-08-01T14:39:35Z)
• Variational Disentanglement for Domain Generalization [68.85458536180437]
  本稿では,変分拡散ネットワーク(VDN)という効果的なフレームワークを提供することにより,領域一般化の課題に取り組むことを提案する。 VDNは、ドメイン固有の機能とタスク固有の機能を切り離し、タスク固有のフィーチャは、見えないが関連するテストデータにより良い一般化が期待できる。
  論文  参考訳（メタデータ） (2021-09-13T09:55:32Z)
• Structured Latent Embeddings for Recognizing Unseen Classes in Unseen Domains [108.11746235308046]
  本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。 挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-07-12T17:57:46Z)
• Model-Based Domain Generalization [96.84818110323518]
  本稿では,モデルベースドメイン一般化問題に対する新しいアプローチを提案する。 我々のアルゴリズムは、最新のwildsベンチマークの最先端手法を最大20ポイント上回った。
  論文  参考訳（メタデータ） (2021-02-23T00:59:02Z)
• Cross-Domain Grouping and Alignment for Domain Adaptive Semantic Segmentation [74.3349233035632]
  深層畳み込みニューラルネットワーク(CNN)内のソースドメインとターゲットドメインにセマンティックセグメンテーションネットワークを適用する既存の技術は、対象ドメイン自身や推定カテゴリ内のクラス間変異を考慮していない。 学習可能なクラスタリングモジュールと、クロスドメイングルーピングとアライメントと呼ばれる新しいドメイン適応フレームワークを導入する。 本手法はセマンティクスセグメンテーションにおける適応性能を一貫して向上させ,様々なドメイン適応設定において最先端を上回っている。
  論文  参考訳（メタデータ） (2020-12-15T11:36:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。