論文の概要: SAGG: Sample-Adaptive Gradient Gating for Robust Multimodal Learning under Heterogeneous Corruption
- arxiv url: http://arxiv.org/abs/2609.20302v1
- Date: Thu, 30 Jul 2026 09:24:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.669418
- Title: SAGG: Sample-Adaptive Gradient Gating for Robust Multimodal Learning under Heterogeneous Corruption
- Title(参考訳): SAGG:不均一破壊下でのロバストなマルチモーダル学習のためのサンプル適応型グラディエントゲーティング
- Abstract要約: サンプルレベルのオール・オー・ナッシング・ゲーティングは、自然分布自由推定器クラスにおけるユニークな非バイアスの戦略であることを示す。
オンライン機能ノルム品質テストにより,サンプル毎に2値保持・破棄判定を行うサンプル適応型グラディエントゲーティング(SAGG)を提案する。
ガウスノイズインジェクションによるKineetics-SoundsとUCF-101の実験は、SAGGが既存の10の手法を一貫して上回っていることを示している。
- 参考スコア(独自算出の注目度): 16.856453018275467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal gradient balancing methods modulate encoder gradients with a shared scalar per modality, implicitly assuming that corruption is uniform across the training batch. In practice, corruption is sample-heterogeneous: within a single mini-batch, different samples may have different modalities corrupted. We prove that under this heterogeneous corruption model, any batch-level sample-agnostic linear estimator with a shared modulation parameter incurs an irreducible bias with respect to the clean-data gradient, and that sample-level all-or-nothing gating is the unique unbiased strategy within a natural distribution-free estimator class. Motivated by this result, we propose Sample-Adaptive Gradient Gating (SAGG), which makes a binary retain-or-discard decision per sample via an online feature-norm quality test and incorporates a truncation mechanism for variance control. We prove that SAGG-based SGD converges at the standard O(1/sqrt(T)) rate to stationary points of the clean loss without a corruption-dependent error floor, and derive a certified robustness radius for the independent-encoder architecture that connects per-modality Lipschitz constants to the classification margin. Experiments on Kinetics-Sounds and UCF-101 under Gaussian noise injection, partial modality missing, and natural contribution imbalance show that SAGG consistently outperforms ten existing methods, with the largest gains in high-corruption regimes where batch-level bias is most severe.
- Abstract(参考訳): マルチモーダル・グラデーション・バランシング法は、トレーニングバッチ全体で腐敗が均一であることを暗黙的に仮定して、モダリティごとに共有スカラーでエンコーダ勾配を変調する。
実際には、汚染はサンプル不均一であり、単一のミニバッチ内で、異なるサンプルが異なるモダリティが破損する可能性がある。
この不均質な汚職モデルの下では、共有変調パラメータを持つバッチレベルのサンプル非依存線形推定器は、クリーンデータ勾配に対して既約バイアスを生じさせ、サンプルレベルのオール・オー・ナッシング・ゲーティングが、自然分布自由推定器クラスにおけるユニークな非バイアスの戦略であることを証明している。
この結果から,サンプル適応勾配ゲーティング(SAGG, Sample-Adaptive Gradient Gating)を提案する。
SAGGに基づくSGDは, 汚損依存のエラーフロアを使わずに, 標準的なO(1/sqrt(T))速度で定常的な損失点に収束し, モダリティ当たりのリプシッツ定数を分類マージンに接続する独立エンコーダアーキテクチャにおいて, 証明されたロバスト性半径を導出する。
ガウスノイズインジェクション, 部分モダリティ欠如, 自然寄与不均衡の下での運動音とUCF-101の実験は, SAGGが従来手法よりも常に優れており, バッチレベルのバイアスが最も深刻である高破壊体制において最大の利得を示している。
関連論文リスト
- Self-Supervised Topologically Invariant Manifold Learning for Railway Image Quality Assessment [20.081901964453074]
既存のブラインド画像品質評価法(BIQA)は、実世界の領域における一般化を制限する合成主観的アノテーションに依存している。
境界制約下での位相不変多様体学習に基づく完全自己教師付きBIQAフレームワークを提案する。
我々のフレームワークは標準の合成およびワイルドベンチマークで優れたゼロショット転送性を確保できることを示す。
論文 参考訳(メタデータ) (2026-08-15T13:08:06Z) - Simplex Relaxation for Discrete Diffusion [58.33696160279345]
Simplax(Simplax)はディリクレ(Dirichlet)のカテゴリー拡張で、それぞれが崩壊したカテゴリ状態と補助的単純度値変数を結合する。
Simplaxは生成パープレキシティーを改善する。-無条件のOpenWebText生成におけるエントロピートレードオフ。
論文 参考訳(メタデータ) (2026-08-11T07:58:17Z) - Disagreement-Regularized Importance Sampling for Adversarial Label Corruption [3.0416928830191066]
Disagreement-Regularized Importance Smpling (DR-IS)は、独立したプロキシアンサンブル間での損失ランクの分類に基づくサブサンプリング手法である。
DR-ISは、ベンチマークデータセット上のError $L$-norm (EL2N)のようなマグニチュードベースのメソッドを壊すターゲットの高いノーム攻撃の下で堅牢である。
論文 参考訳(メタデータ) (2026-05-08T10:27:51Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳(メタデータ) (2026-04-20T16:43:28Z) - Improving RCT-Based Treatment Effect Estimation Under Covariate Mismatch via Calibrated Alignment [0.0]
本稿では,各ソースの特徴を共通表現空間にマッピングする埋め込み学習により,インプットを回避したCALMを提案する。
OSの結果モデルはRTT埋め込み空間に転送され、試行データを用いて校正され、ランダム化による因果同定が保存される。
論文 参考訳(メタデータ) (2026-03-19T17:43:12Z) - Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。
このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。
安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
論文 参考訳(メタデータ) (2026-03-07T01:49:59Z) - Covariance-corrected Whitening Alleviates Network Degeneration on Imbalanced Classification [6.197116272789107]
クラス不均衡は画像分類において重要な問題であり、深層認識モデルの性能に大きな影響を及ぼす。
我々は、退化ソリューションを緩和するWhitening-Netと呼ばれる新しいフレームワークを提案する。
極端なクラス不均衡のシナリオでは、バッチ共分散統計は大きな変動を示し、白化操作の収束を妨げる。
論文 参考訳(メタデータ) (2024-08-30T10:49:33Z) - False membership rate control in mixture models [1.387448620257867]
クラスタリングタスクは、サンプルの要素を均質なグループに分割する。
教師付き設定では、このアプローチはよく知られており、禁忌オプションの分類として言及されている。
本稿では, 教師なし混合モデルフレームワークで再検討し, 偽会員率が予め定義された名目レベルを超えないことを保証する手法を開発することを目的とする。
論文 参考訳(メタデータ) (2022-03-04T22:37:59Z) - Label Distributionally Robust Losses for Multi-class Classification:
Consistency, Robustness and Adaptivity [55.29408396918968]
多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。
我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。
本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
論文 参考訳(メタデータ) (2021-12-30T00:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。