論文の概要: Hyper-LLaVA: Hyperbolic Uncertainty-aware Modality-Balanced Routing for Multimodal Continual Instruction Tuning
- arxiv url: http://arxiv.org/abs/2609.13742v1
- Date: Sat, 12 Sep 2026 06:26:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.491263
- Title: Hyper-LLaVA: Hyperbolic Uncertainty-aware Modality-Balanced Routing for Multimodal Continual Instruction Tuning
- Title（参考訳）: Hyper-LLaVA:マルチモーダルインストラクションチューニングのためのハイパボリック不確かさを意識したモダリティベースルーティング
- Abstract要約: State-of-the-artメソッドは、ルーティング中に同じ重さのサンプル・ツー・タスク・センターの類似性と、クロスモーダル・フュージョンに依存している。
マルチモードタスク特徴不確実性モデリングに基づくパラメータルーティング能力を向上させるために,ハイパーボリック不確実性を考慮したモダリティベースルーティング(Hyper-LLaVA)を提案する。
- 参考スコア（独自算出の注目度）: 37.454529657412834
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Continual Instruction Tuning (MCIT) aims to exploit the incrementally accumulated knowledge to process multimodal inputs of diverse tasks, where parameter routing plays an important role. State-of-the-art methods rely on sample-to-task center similarity and cross-modal fusion with equal weight during routing. However, such solutions face two fundamental flaws: (1) Within each modality, the sample-to-task center distance is sub-optimal for routing since the abundant intra-task diversity information is underleveraged. (2) Different modalities exhibit varying reliability across tasks, where the modality with inter-task ambiguity can easily misguide the routing result. To address these problems, we propose Hyperbolic Uncertainty-aware Modality-Balanced Routing (Hyper-LLaVA) to improve parameter routing capacity based on cross-modality task feature uncertainty modeling. Specifically, to improve intra-modality task matching, Hyper-LLaVA accesses the sample-to-task distribution similarity in the Hyperbolic space. Besides, to alleviate the degradation brought by unreliable modalities, Hyper-LLaVA quantifies the task matching ambiguity within each modality to achieve adaptive balancing between task matching across modalities. Based on the complementary intra- and inter-modality task matching enhancement, our Hyper-LLaVA outperforms state-of-the-art approaches by large margins. Our source code is available at https://github.com/zhoujiahuan1991/ICML2026-Hyper-LLaVA
- Abstract（参考訳）: MCIT (Multimodal Continual Instruction Tuning) は、パラメータルーティングが重要な役割を果たす多様なタスクのマルチモーダル入力を処理するために、漸進的に蓄積された知識を活用することを目的としている。
State-of-the-artメソッドは、ルーティング中に同じ重さのサンプル・ツー・タスク・センターの類似性と、クロスモーダル・フュージョンに依存している。
しかし、このような解は2つの根本的な欠点に直面している: 1) 各モードにおいて、サンプル・ツー・タスクの中心距離は、多量のタスク内多様性情報が不足しているため、ルーティングに最適である。
2) タスクごとに異なるモダリティは異なる信頼性を示し, タスク間のあいまいさによるモダリティはルーティング結果を誤解しやすい。
これらの問題に対処するため,多目的タスク特徴不確実性モデリングに基づくパラメータルーティング能力の向上を目的としたHyper-LLaVA(Hyper-LLaVA)を提案する。
具体的には、モダリティ内タスクマッチングを改善するために、Hyper-LLaVAはHyperbolic空間におけるサンプルとタスク間の分布類似性にアクセスする。
さらに、信頼できないモダリティによる劣化を軽減するため、Hyper-LLaVAは各モダリティ内でのタスクマッチングのあいまいさを定量化し、モダリティ間でのタスクマッチングの適応的バランスを実現する。
相補的なモダリティ内およびモダリティ間タスクマッチングの強化に基づいて、Hyper-LLaVAは最先端のアプローチよりも大きなマージンで優れています。
ソースコードはhttps://github.com/zhoujiahuan 1991/ICML2026-Hyper-LLaVAで公開されています。
関連論文リスト
- CDCP: Conditional Diffusion Model with Contextual Prompts for Multi-task Offline Safe Reinforcement Learning [63.5739698095413]
マルチタスクのオフライン安全な強化学習(RL)は、複数のタスクにわたるオフラインデータから、共有された最適な安全なポリシを学ぶことを約束する。
しかし、マルチタスク、安全制約、アウト・オブ・ディストリビューションの3つの課題は、既存の手法にとって大きなハードルとなっている。
本稿では,これらの課題に対処する条件付き拡散モデルを提案する。
論文 参考訳（メタデータ） (2026-07-04T14:57:35Z) - CoAction: Cross-task Correlation-aware Pareto Set Learning [9.837762929043649]
マルチオブジェクトマルチタスク最適化のためのクロス・tAsk相関対応フレームワークを提案する。
タスク固有の埋め込みベクトルを個別のタスクに割り当てることにより、モデルは知識共有を容易にしながらタスクを効果的に区別する。
提案手法はベンチマーク問題と実世界のアプリケーションの両方をカバーする総合マルチタスクテストスイートで評価される。
論文 参考訳（メタデータ） (2026-05-03T04:52:44Z) - Parameter-Efficient Modality-Balanced Symmetric Fusion for Multimodal Remote Sensing Semantic Segmentation [8.840077295284393]
MoBaNetはパラメータ効率とモダリティバランスを持つ対称核融合フレームワークである。
ほとんど凍結されたVFMバックボーン上に構築されたMoBaNetは、一般化可能な表現を維持するために対称なデュアルストリームアーキテクチャを採用している。
ISPRS VaihingenとPotsdamベンチマークの実験は、MoBaNetが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2026-03-18T13:23:58Z) - UV-M3TL: A Unified and Versatile Multimodal Multi-Task Learning Framework for Assistive Driving Perception [71.19234323863314]
運転者の行動、運転者の感情、車両の行動、交通状況を同時に認識する枠組みを提案する。
本フレームワークは,デュアルブランチ空間チャネルのマルチモーダル埋め込みと適応的特徴分離型マルチタスク損失の2つのコアコンポーネントを組み込んでいる。
提案手法をAIDEデータセット上で評価し,UV-M3TLが4つのタスクすべてにおいて最先端の性能を達成することを示す実験結果を得た。
論文 参考訳（メタデータ） (2026-02-02T03:35:24Z) - Bridging Modalities via Progressive Re-alignment for Multimodal Test-Time Adaptation [39.02105398462778]
テスト時間適応(TTA)は、未ラベルのテストデータのみを使用したオンラインモデル適応を可能にする。
マルチモーダルのシナリオでは、異なるモダリティをまたいだ分布の度合いの変化は複雑なカップリング効果をもたらす。
本稿では,BriMPR(Progressive Re-alignment)によるブリッジングモダリティ( Bridging Modalities)と呼ばれる新しいTTAフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-28T03:33:42Z) - NTKMTL: Mitigating Task Imbalance in Multi-Task Learning from Neural Tangent Kernel Perspective [58.345210583013454]
マルチタスク学習(MTL)は、1つのモデルで複数のタスクを同時に学習することを可能にする。
MTLにおけるタスクの不均衡は依然として大きな課題である。
NTKMTL という新しい MTL 法を提案し,MTL のトレーニングダイナミクスを解析する。
論文 参考訳（メタデータ） (2025-10-21T03:29:40Z) - Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。
タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。
本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
論文 参考訳（メタデータ） (2024-11-02T05:49:14Z) - AdapMTL: Adaptive Pruning Framework for Multitask Learning Model [5.643658120200373]
AdapMTLはマルチタスクモデルのための適応型プルーニングフレームワークである。
複数のタスクにまたがって、空間割り当てと精度のパフォーマンスのバランスをとる。
最先端の刈り取り法に比べて優れた性能を示す。
論文 参考訳（メタデータ） (2024-08-07T17:19:15Z) - Unified-modal Salient Object Detection via Adaptive Prompt Learning [18.90181500147265]
単一モードSODタスクと多モードSODタスクの両方に対処するため,UniSODと呼ばれる統一フレームワークを提案する。
UniSODは適応的なプロンプト学習を通じてタスク固有のヒントでモーダルアウェアプロンプトを学習する。
提案手法は,RGB,RGB-D,RGB-T SODの14のベンチマークデータセットに対して,総合的な性能向上を実現する。
論文 参考訳（メタデータ） (2023-11-28T14:51:08Z) - Channel Exchanging Networks for Multimodal and Multitask Dense Image
Prediction [125.18248926508045]
本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。
CENは異なるモダリティのワーク間でチャネルを動的に交換する。
濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
論文 参考訳（メタデータ） (2021-12-04T05:47:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。