論文の概要: GeoBalance: Geometry-Aware Monitoring and Reconstruction with Asymmetric Optimization for Balanced Multimodal Learning
- arxiv url: http://arxiv.org/abs/2609.23533v1
- Date: Sun, 20 Sep 2026 10:25:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.845355
- Title: GeoBalance: Geometry-Aware Monitoring and Reconstruction with Asymmetric Optimization for Balanced Multimodal Learning
- Title（参考訳）: GeoBalance: バランスの取れたマルチモーダル学習のための非対称最適化による幾何学的モニタリングと再構成
- Abstract要約: 我々は、持続的モダリティ支配が弱モダリティの表現レベル崩壊を引き起こすことを示す。
我々は,MMCの兆候を示す場合にのみ,弱モダリティ表現を再構成する幾何学的枠組みであるemphGeoBalanceを提案する。
6つのベンチマークによる実験は、競争力のバランス方法よりも優れた改善を示し、その有効性を検証する。
- 参考スコア（独自算出の注目度）: 20.177048418792477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal classifiers can converge to modality-dominant solutions in which one modality dominates the joint prediction, suppressing the learning of others. Existing balancing methods mainly adjust losses, gradients, or modality contributions, largely treating modality imbalance as an optimization problem while implicitly treating the weak modality as under-optimized but representationally intact. In this work, we find that this assumption does not always hold, as persistent modality dominance can induce a representation-level collapse of the weak modality, which we term \emph{manifold modality collapse} (MMC). MMC manifests as a coupled geometric degradation in which weak-modality representations collapse onto fewer directions within each class and become less separable across classes. Motivated by this observation, we propose \emph{GeoBalance}, a geometry-aware framework that monitors these two geometric properties and reconstructs the weak modality representation only when it exhibits signs of MMC. Once triggered, GeoBalance uses a fixed Simplex-ETF class scaffold and spectral regularization to restore class separation while preventing collapse onto a few feature directions. To preserve reconstruction during joint training, asymmetric gradient projection removes the joint-gradient component conflicting with reconstruction, leaving non-conflicting optimization unchanged. Extensive experiments across six multimodal benchmarks demonstrate great improvements over competitive balancing methods, validating its effectiveness.
- Abstract（参考訳）: マルチモーダル分類器は、1つのモダリティが共同予測を支配し、他者の学習を抑圧するモダリティ支配の解に収束することができる。
既存のバランス手法は、主に損失、勾配、モダリティの寄与を調整し、モダリティの不均衡を最適化問題として扱う一方で、弱モダリティを過度に最適化されているが表現的に無意味であるとして暗黙的に扱う。
この研究において、この仮定が常に成り立つとは限らないことは、持続的モジュラリティ支配が弱モダリティの表現レベル崩壊を誘導できるからであり、これを 'emph{manifold modality collapse} (MMC) と呼ぶ。
MMCは、弱モダリティ表現が各クラス内のより少ない方向に崩壊し、クラス間で分離されにくくなるような、結合した幾何学的劣化として現れている。
この観測を動機として,これらの2つの幾何学的性質を監視し,MCCの兆候を示す場合にのみ弱モダリティ表現を再構成する幾何学的枠組みである \emph{GeoBalance} を提案する。
一度起動すると、GeoBalanceは固定されたSimplex-ETFクラススキャフォールドとスペクトル正規化を使用して、クラス分離を復元し、いくつかの機能方向の崩壊を防ぐ。
関節トレーニング中の再建を維持するため、非対称勾配投影は再建と相反する関節緩やかな成分を除去し、非衝突最適化をそのまま残す。
6つのマルチモーダルベンチマークに対する大規模な実験は、競合バランス法よりも優れた改善を示し、その有効性を検証する。
関連論文リスト
- A Cone-Constrained Bilinear Decomposition for Total Scaled-Gradient Variation Models [0.758305251912708]
画像復元におけるエッジとコーナーの保存には,TSGV正則化器が有効であることが示されている。
そこで本研究では,球面制約に支配される最適化問題を提案する。
特に、コーン制約は、エッジとコーナー保存行動の特徴付けにおいて中心的な役割を果たす。
論文 参考訳（メタデータ） (2026-08-29T08:13:34Z) - Prototype-Anchored Generalized Manifold Regression for Unknown-Domain Object Detection [58.25418970608328]
単一ソースドメイン上でトレーニングされた検出器を複数の未確認領域に転送することを目的としたシングルドメイン一般化オブジェクト検出(Single-DGOD)について検討する。
既存の手法は主に、トレーニング分布を拡大するために、データ拡張やテキストプロンプトといったシミュレーション駆動の戦略に依存している。
本稿では, 未知領域の一般化を多様体回帰問題として定式化する, Visual-Text Dual Chain-of-Thought (MR-DCoT) を用いたマニフォールド回帰を提案する。
論文 参考訳（メタデータ） (2026-07-08T09:27:15Z) - A Geometric View of SRC: Learning Representations for Stable Residual Inference [0.0]
レコンストラクションに基づく推論は、クラスワイドのリコンストラクション残差を比較することによってクラスを割り当てる。
スパース表現分類(英: Sparse Representation Classification, SRC)は、学習された表現の幾何学に依存する標準インスタンスである。
我々は,残差による残次安定性を定式化し,幾何学的障害物を特徴づける。
論文 参考訳（メタデータ） (2026-05-28T09:33:18Z) - Next-Acceleration-Scale Prediction for Autoregressive MRI Reconstruction [52.32112533846212]
MRI再建は本質的に不完全な逆問題である。
この制限は、再構成を離散的なマルチスケールの潜在空間に移動させ、自己回帰的次加速スケールの予測として機能させることによって解決する。
提案手法は,過度のアンサンプ下での多種多様なサンプリングパターンの再構成性能の向上を図っている。
論文 参考訳（メタデータ） (2026-05-19T04:40:50Z) - Anisotropic Modality Align [91.23979617826926]
マルチモーダルな大規模言語モデルの訓練は、高品質なペア型マルチモーダルデータの不足により、長い間制限されてきた。
近年の研究では、事前訓練されたマルチモーダルコントラストモデルの共有表現空間がブリッジとして機能し、非モーダルデータを用いたマルチモーダルトレーニングを可能にすることが示されている。
中心となる障害は、共有空間の永続的なモダリティギャップにある。
論文 参考訳（メタデータ） (2026-05-08T14:53:24Z) - A Unified Fractional Regularization Framework for Sparse Recovery [6.9812173056207705]
本稿では,$ell_pq$モデルに基づくスパース信号回復のための統一的な分数正規化フレームワークを提案する。
数値実験により,提案手法は既存の手法より一貫して優れていることが示された。
論文 参考訳（メタデータ） (2026-04-25T07:32:39Z) - Modality-Balanced Collaborative Distillation for Multi-Modal Domain Generalization [72.83292830785336]
ウェイト平均化 (WA) は, 平坦な損失景観への収束を促進することによって, 一般化を促進する強力な手法として登場した。
マルチモーダル環境での欠点を克服しつつ,WAの平坦性に起因した優位性を保ちつつ,統一的な共同蒸留フレームワークMBCDを提案する。
論文 参考訳（メタデータ） (2025-11-25T12:38:28Z) - Calibrated Multimodal Representation Learning with Missing Modalities [100.55774771852468]
マルチモーダル表現学習は、それらを統一潜在空間に整列させることにより、異なるモダリティを調和させる。
最近の研究は、従来のクロスモーダルアライメントを一般化して、強化されたマルチモーダル・シナジーを生成するが、すべてのモダリティを共通の例に含める必要がある。
我々は、アンカーシフトの観点から、この問題に関する理論的洞察を提供する。
モーダルの欠如に起因する不完全なアライメントを校正するために,マルチモーダル表現学習のためのCalMRLを提案する。
論文 参考訳（メタデータ） (2025-11-15T05:01:43Z) - Symmetric Neural-Collapse Representations with Supervised Contrastive
Loss: The Impact of ReLU and Batching [26.994954303270575]
スーパーバイザード・コントラスト・ロス(SCL)は、分類におけるクロスエントロピー・ロスの代わりとして、競争力があり、しばしば優れた選択肢である。
従来の研究では、両方の損失がバランスデータの下で対称的なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破れる。
最終層におけるReLU活性化の導入は,SCL学習表現の対称性を効果的に回復させる。
論文 参考訳（メタデータ） (2023-06-13T17:55:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。