論文の概要: Beyond Invariance: Factor-wise Selective Treatment of Shifts for Multimodal Learning

• arxiv url: http://arxiv.org/abs/2610.21403v2
• Date: Tue, 20 Oct 2026 10:55:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.211387
• Title: Beyond Invariance: Factor-wise Selective Treatment of Shifts for Multimodal Learning
• Title（参考訳）: 不変性を超えて:マルチモーダル学習におけるシフトの因子的選択的処理
• Abstract要約: 本稿では,その分布変化,介入効果,環境間安定性に応じて潜在表現因子を診断する因子シフトフレームワークであるFaShiftを提案する。 マルチモーダル表現を分解することにより、FaShiftは予測できない因子、安定して予測可能な因子、予測上有用だが不安定な因子を区別する。 実験によると、FaShiftは3つのデータセットで最高のID精度とF1を達成する。
• 参考スコア（独自算出の注目度）: 31.68233730358121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distribution shifts pose a fundamental challenge to robust multimodal learning. Existing methods typically promote invariance by suppressing environment-dependent variations, implicitly applying a uniform treatment to shifted information. However, shifted information can have different predictive consequences: some contributes little to prediction, some remains reliably informative, and some exhibits environment-dependent predictive effects. This raises a fundamental question: which shifted information should be suppressed, preserved, or attenuated? To address this question, we propose FaShift, a factor-wise shift framework that diagnoses latent representation factors according to their distributional changes, intervention effects, and cross-environment stability. By factorizing multimodal representations and evaluating these complementary properties, FaShift distinguishes non-predictive factors, stably predictive factors, and predictively useful but unstable factors. It then selectively suppresses, preserves, or attenuates their contributions, rather than enforcing uniform invariance. Experiments on MOSI, MOSEI, and CH-SIMS show that FaShift achieves the best ID accuracy and F1 across all three datasets. Compared with the strongest competitors reporting OOD results, it improves OOD accuracy/F1 by 1.5/3.6 points on MOSI and 1.7/2.7 points on MOSEI, while achieving the best reported OOD accuracy and F1 on CH-SIMS.
• Abstract（参考訳）: 分散シフトは、堅牢なマルチモーダル学習に対する根本的な課題である。 既存の方法では、環境依存の変動を抑え、シフトした情報に均一な処理を暗黙的に適用することで、不変性を促進するのが一般的である。 一部は予測にはほとんど寄与せず、一部は確実な情報であり、一部は環境に依存した予測効果を示す。 どのシフトした情報を抑圧、保存、減衰すべきか、という根本的な疑問が浮かび上がっています。 この問題に対処するため、我々は、その分布変化、介入効果、環境間安定性に応じて潜在表現因子を診断する因子シフトフレームワークであるFaShiftを提案する。 マルチモーダル表現を分解し、これらの相補的特性を評価することにより、FaShiftは予測できない因子、安定に予測可能な因子、予測的に有用だが不安定な因子を区別する。 そして、一様不変性を強制するのではなく、選択的にその貢献を抑圧し、保存し、減衰させる。 MOSI、MOSEI、CH-SIMSの実験によると、FaShiftは3つのデータセットで最高のID精度とF1を達成する。 OODの結果を報告している最強のライバルと比較して、MOSIで1.5/3.6ポイント、MOSEIで1.7/2.7ポイント、CH-SIMSで最高のOOD精度とF1を達成する。

関連論文リスト

• Are LLM Uncertainty and Correctness Encoded by the Same Features? A Functional Dissociation via Sparse Autoencoders [10.172598963520961]
  大規模言語モデルは、その出力レベルの不確かさと実際の正しさが、同じ内部メカニズムによって駆動されるか、または異なる特徴集団によって駆動されるかという疑問を提起する。 モデル予測を正当性と信頼軸に沿って分割する2x2フレームワークを導入し,スパースオートエンコーダを用いて各次元に関連する特徴を独立に同定する。
  論文  参考訳（メタデータ） (2026-04-21T20:34:14Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Prediction Accuracy & Reliability: Classification and Object Localization under Distribution Shift [1.433758865948252]
  本研究では,自然分布変化と気象増悪が検出品質および信頼性評価に与える影響について検討した。 公開されている自動運転データセットから、新しいデータセットがキュレートされた。 分散シフト中のCNNの粒度解析により、タスク性能と信頼性推定の両方に異なるタイプのシフトの影響を定量化することができる。
  論文  参考訳（メタデータ） (2024-09-05T14:06:56Z)
• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)
• A Causal Framework for Decomposing Spurious Variations [68.12191782657437]
  我々はマルコフモデルとセミマルコフモデルの急激な変分を分解するツールを開発する。 突発効果の非パラメトリック分解を可能にする最初の結果を証明する。 説明可能なAIや公平なAIから、疫学や医学における疑問まで、いくつかの応用がある。
  論文  参考訳（メタデータ） (2023-06-08T09:40:28Z)
• Traceability and Reuse Mechanisms, the most important Properties of Model Transformation Languages [1.4685355149711299]
  本研究の目的は,調査結果を定量的に評価し,異なる要因による影響を確認し,否定することである。 その結果,トラシングと再利用のメカニズムは全体として最も重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2023-05-11T12:35:03Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• Transformer Uncertainty Estimation with Hierarchical Stochastic Attention [8.95459272947319]
  本稿では,変圧器に不確実性推定機能を持たせるための新しい手法を提案する。 これは、価値と学習可能なセントロイドのセットに付随する階層的な自己注意を学ぶことで達成される。 我々は、ドメイン内(ID)とドメイン外(OOD)の両方のデータセットを用いて、2つのテキスト分類タスクでモデルを実証的に評価する。
  論文  参考訳（メタデータ） (2021-12-27T16:43:31Z)
• Exploring Covariate and Concept Shift for Detection and Calibration of Out-of-Distribution Data [77.27338842609153]
  キャラクタリゼーションにより、OODデータの検出と信頼性校正には、それぞれのシフトに対する感度が重要であることが明らかになった。 分布内データのみを用いて両シフトでのOOD検出を改善するために,幾何学的に着想を得た手法を提案する。 我々は,OOD検出とキャリブレーションの両面で,異なるタイプのシフトの下でうまく機能する手法を最初に提案する。
  論文  参考訳（メタデータ） (2021-10-28T15:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。