論文の概要: Rethinking Cross-Modal Fine-Tuning: Optimizing the Interaction between Feature Alignment and Target Fitting

• arxiv url: http://arxiv.org/abs/2601.18231v1
• Date: Mon, 26 Jan 2026 07:34:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.721189
• Title: Rethinking Cross-Modal Fine-Tuning: Optimizing the Interaction between Feature Alignment and Target Fitting
• Title（参考訳）: クロスモーダルファインチューニングの再考--特徴アライメントとターゲットフィッティングの相互作用の最適化
• Authors: Trong Khiem Tran, Manh Cuong Dao, Phi Le Nguyen, Thao Nguyen Truong, Trong Nghia Hoang,
• Abstract要約: 鍵となる課題は、新しいモダリティの表現を、事前訓練されたモデルの表現空間の最も関連性の高い部分とどのように整合させるかである。 しかし、既存の作業は、特徴アライメントとターゲットフィッティングの間の重要な相互作用に関する理論的理解を欠いている。 我々は、目的誤差に縛られる証明可能な一般化を確立するための原則的枠組みを開発する。 これは、特徴ラベル歪みという新しい概念を通じて、特徴アライメントと目標フィッティングの相互作用を説明する。
• 参考スコア（独自算出の注目度）: 15.972034047471555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting pre-trained models to unseen feature modalities has become increasingly important due to the growing need for cross-disciplinary knowledge integration.~A key challenge here is how to align the representation of new modalities with the most relevant parts of the pre-trained model's representation space to enable accurate knowledge transfer.~This requires combining feature alignment with target fine-tuning, but uncalibrated combinations can exacerbate misalignment between the source and target feature-label structures and reduce target generalization.~Existing work however lacks a theoretical understanding of this critical interaction between feature alignment and target fitting.~To bridge this gap, we develop a principled framework that establishes a provable generalization bound on the target error, which explains the interaction between feature alignment and target fitting through a novel concept of feature-label distortion.~This bound offers actionable insights into how this interaction should be optimized for practical algorithm design. The resulting approach achieves significantly improved performance over state-of-the-art methods across a wide range of benchmark datasets.
• Abstract（参考訳）: 学際的な知識統合の必要性が高まっているため、事前学習されたモデルを特徴モダリティに適応させることがますます重要になっている。 ここでの重要な課題は、新しいモダリティの表現を、事前訓練されたモデルの表現空間の最も関連性の高い部分と整合させて、正確な知識伝達を可能にする方法である。 ～これは、特徴アライメントとターゲットの微調整の組み合わせを必要とするが、未調整の組み合わせは、ソースとターゲットの特徴ラベル構造間の不整合を悪化させ、ターゲットの一般化を減少させる。 しかしながら、既存の作業には、特徴アライメントとターゲットフィッティングの間の重要な相互作用に関する理論的理解が欠けている。 このギャップを埋めるために、我々は、目的誤差に縛られる証明可能な一般化を確立するための原則的なフレームワークを開発し、特徴ラベル歪みという新しい概念を通じて、特徴アライメントと目標フィッティングの相互作用を説明する。 このバウンダリは,このインタラクションを実用的なアルゴリズム設計に最適化する方法について,実用的な洞察を提供するものです。 結果として得られたアプローチは、幅広いベンチマークデータセットにわたる最先端のメソッドよりも大幅にパフォーマンスが向上する。

関連論文リスト

• SCALAR: Self-Calibrating Adaptive Latent Attention Representation Learning [2.152549977410309]
  複雑な特徴相互作用を持つ高次元ヘテロジニアスデータは、従来の予測モデリングアプローチに重大な課題をもたらす。 本アーキテクチャでは,異なる特徴群を個別に処理するアダプティブカーネルベースのアテンション機構を導入している。 実験結果は、さまざまなデータセットにわたる最先端の手法と比較して、パフォーマンス指標が大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2025-10-18T12:41:18Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• CHARM: Collaborative Harmonization across Arbitrary Modalities for Modality-agnostic Semantic Segmentation [44.48226146116737]
  Modality-Agnostic Semantic (MaSS) は入力モダリティの任意の組み合わせにまたがる堅牢なシーン理解の実現を目的としている。 我々は、モダリティに特有な利点を保ちつつ、暗黙的にコンテンツをアライメントする新しい補完学習フレームワークであるCHARMを提案する。
  論文  参考訳（メタデータ） (2025-08-05T04:10:51Z)
• Mitigating Attention Hacking in Preference-Based Reward Modeling via Interaction Distillation [62.14692332209628]
  インタラクション蒸留(Interaction Distillation)は、注意レベル最適化によるより適切な嗜好モデリングのための新しいトレーニングフレームワークである。 最先端のRM最適化法と比較して、より安定で一般化可能な報酬信号を提供する。
  論文  参考訳（メタデータ） (2025-08-04T17:06:23Z)
• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [57.19302613163439]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• Collaborative Multidisciplinary Design Optimization with Neural Networks [1.2691047660244335]
  協調最適化の場合、二項分類の興味深い問題を解くことにより、より高速で信頼性の高い収束が得られることを示す。 本稿では,非対称な損失関数,リプシッツ連続性を保証する構造,基本距離関数の性質を尊重する正規化を含むニューラルネットワークのトレーニングを提案する。
  論文  参考訳（メタデータ） (2021-06-11T00:03:47Z)
• Self-supervised Augmentation Consistency for Adapting Semantic Segmentation [56.91850268635183]
  本稿では,実用的かつ高精度な意味セグメンテーションのためのドメイン適応手法を提案する。 私たちは標準データ拡張技術である$-$フォトメトリックノイズ、フリップとスケーリング$-$を採用し、セマンティック予測の一貫性を保証する。 適応後の最先端セグメンテーション精度を大幅に改善し、バックボーンアーキテクチャと適応シナリオの異なる選択に整合性を持たせる。
  論文  参考訳（メタデータ） (2021-04-30T21:32:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。