論文の概要: MOSAIC: Addressing Disproportionate Task-Modality Dependencies via Modality-Partitioned Gradient Routing
- arxiv url: http://arxiv.org/abs/2610.41004v1
- Date: Thu, 29 Oct 2026 21:37:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.500183
- Title: MOSAIC: Addressing Disproportionate Task-Modality Dependencies via Modality-Partitioned Gradient Routing
- Title（参考訳）: MOSAIC: モダリティ分割型グラディエントルーティングによる不均質なタスクモダリティ依存への対処
- Abstract要約: マルチタスク設定では、複数のモダリティを組み合わせることで、タスク表現は単一のモダリティだけでは捕捉できない信号に描画することができる。
我々は,モチーフ表現を保ちながら,相互に制御された相互作用を可能にするMOSAICを提案する。
この結果から,モーダリティがタスク間で一貫した利得を得る一方で,融合ベース設計よりもバックボーンパラメータがはるかに少ないことが示唆された。
- 参考スコア（独自算出の注目度）: 10.342965466053569
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In multi-task settings, combining multiple modalities allows task representations to draw on signals that a single modality alone would not capture. However, individual tasks may depend disproportionately on particular modalities, a structure that conventional fusion-based architectures do not model explicitly, instead enforcing a unified representation space. Consequently, a task's gradients can affect parameters tied to modalities it barely relies on, leaving features that compromise between competing demands. Although prior work has explored task-weighting and loss-balancing strategies, their effectiveness is limited by the absence of explicit modality separation, preventing models from optimising each modality according to its task-specific importance. To address these limitations, we propose MOSAIC (MOdality-Separated Architecture with Inter-modal Cross-attention), which preserves unimodal representations while enabling controlled interaction between them, and uses modality-specific losses to route gradients to their corresponding partitions. On the Corpus of Everyday Japanese Conversation (CEJC), MOSAIC improves average macro-F1 by 7.4 points across four tasks with a 72% reduction in backbone parameters relative to a fusion-based baseline. Our results demonstrate that modality partitioning yields consistent gains across tasks while requiring far fewer backbone parameters than a fusion-based design.
- Abstract（参考訳）: マルチタスク設定では、複数のモダリティを組み合わせることで、タスク表現は単一のモダリティだけでは捕捉できない信号に描画することができる。
しかし、個々のタスクは特定のモダリティに依存し、従来の融合ベースのアーキテクチャは明示的にモデル化せず、代わりに統一表現空間を強制する構造である。
その結果、タスクの勾配は、ほとんど依存していないモダリティに関連するパラメータに影響を与え、競合する要求間で妥協する特徴を残します。
従来の研究はタスク重み付けと損失分散戦略を探求してきたが、その効果は明示的なモダリティ分離が欠如していることによって制限され、モデルがそのタスク固有の重要性に応じて各モダリティを最適化するのを防ぐ。
これらの制約に対処するため,モダリティ分離アーキテクチャ (MOSAIC) を提案する。
The Corpus of Everyday Japanese Conversation (CEJC)において、MOSAICは4つのタスクで平均マクロF1を7.4ポイント改善し、核融合ベースラインに対するバックボーンパラメータを72%削減した。
この結果から, モータリティ分割は, 核融合設計よりもバックボーンパラメータをはるかに少なく抑えながら, タスク間で一貫した利得が得られることを示した。
関連論文リスト
- CORE-MTL: Rethinking Gradient Balancing via Causal Orthogonal Representations [4.376075319720958]
マルチタスク学習(MTL)は、ドメイン間で共通の表現を共有することで、複数のタスクのジョイントモデルを構築することを目的としている。
本稿では,タスク関連構造を素早い文脈から切り離すために,マルチタスク学習のための因果直交表現(CORE-MTL)を提案する。
CORE-MTLは、ディストリビューションおよびアウト・オブ・ディストリビューション設定の両方において、ビジュアルマルチタスクベンチマークの既存の手法よりも一貫して優れている。
論文 参考訳（メタデータ） (2026-06-01T13:20:58Z) - Semantically Structured Mixture-of-Experts for Compositional Robotic Manipulation [21.358519910897652]
拡散ベースのポリシーは、正確なロボット操作のための新しい標準を確立したが、重要なスケーラビリティのボトルネックに直面している。
合成ロボット操作のためのSMODP(Semantically Structured Mixture-of-Experts Diffusion Policy)を導入する。
提案手法は,パラメータ効率が大幅に向上したマルチタスクベンチマークにおいて,代表拡散とMoEベースのベースラインよりも優れていた。
論文 参考訳（メタデータ） (2026-05-22T10:38:59Z) - Decomposing the Basic Abilities of Large Language Models: Mitigating Cross-Task Interference in Multi-Task Instruct-Tuning [58.90602461025722]
大規模言語モデル(LLM)におけるマルチタスクインストラクトチューニングは、主にマルチタスクインストラクトチューニングによって駆動されている。
トレーニングパラダイムは、異なるタスク間で共有されたパラメータよりも勾配が矛盾するため、クロスタスク干渉と呼ばれる重要な問題に悩まされる。
本稿では,LLMパラメータを基本能力を表す高特異値LoRAエキスパートに分解するBADITを提案する。
6LLMのSuperNIベンチマークで広範な実験を行い、実験結果から、BADITはSOTA法より優れ、クロスタスク干渉の程度を緩和できることが示された。
論文 参考訳（メタデータ） (2026-05-07T05:08:58Z) - Parameter-Efficient Modality-Balanced Symmetric Fusion for Multimodal Remote Sensing Semantic Segmentation [8.840077295284393]
MoBaNetはパラメータ効率とモダリティバランスを持つ対称核融合フレームワークである。
ほとんど凍結されたVFMバックボーン上に構築されたMoBaNetは、一般化可能な表現を維持するために対称なデュアルストリームアーキテクチャを採用している。
ISPRS VaihingenとPotsdamベンチマークの実験は、MoBaNetが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2026-03-18T13:23:58Z) - Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。
従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。
我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
論文 参考訳（メタデータ） (2026-03-07T03:58:48Z) - Model Merging in the Essential Subspace [78.5390284258307]
モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。
広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。
効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
論文 参考訳（メタデータ） (2026-02-23T00:33:38Z) - UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。
階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。
我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
論文 参考訳（メタデータ） (2025-09-19T17:29:25Z) - Unified modality separation: A vision-language framework for unsupervised domain adaptation [60.8391821117794]
教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインでトレーニングされたモデルが新しいラベル付きドメインを扱うことを可能にする。
本稿では,モダリティ固有成分とモダリティ不変成分の両方に対応可能な統一モダリティ分離フレームワークを提案する。
提案手法は,9倍の計算効率で最大9%の性能向上を実現している。
論文 参考訳（メタデータ） (2025-08-07T02:51:10Z) - Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。
既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。
我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
論文 参考訳（メタデータ） (2025-01-02T12:45:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。