論文の概要: Directional Gradient Projection for Robust Fine-Tuning of Foundation Models

• arxiv url: http://arxiv.org/abs/2502.15895v1
• Date: Fri, 21 Feb 2025 19:31:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:49.183455
• Title: Directional Gradient Projection for Robust Fine-Tuning of Foundation Models
• Title（参考訳）: 基礎モデルのロバスト微調整のための方向勾配投影
• Authors: Chengyue Huang, Junjiao Tian, Brisa Maneechotesuwan, Shivang Chopra, Zsolt Kira,
• Abstract要約: ディディショナル・グラディエント・プロジェクション(DiGraP)は、グラデーションからブリッジの正規化や多目的最適化に至るまでの方向性情報を階層的に学習可能な手法である。 まず,画像分類による視覚質問回答 (VQA) ベンチマークの分析により,一様・多モードのギャップを埋める。 実験結果から,DiGraPは画像分類やVQAタスクにおいて,識別的,生成的バックボーンで既存のベースラインを一貫して上回ることがわかった。
• 参考スコア（独自算出の注目度）: 25.04763038570959
• License:
• Abstract: Robust fine-tuning aims to adapt large foundation models to downstream tasks while preserving their robustness to distribution shifts. Existing methods primarily focus on constraining and projecting current model towards the pre-trained initialization based on the magnitudes between fine-tuned and pre-trained weights, which often require extensive hyper-parameter tuning and can sometimes result in underfitting. In this work, we propose Directional Gradient Projection (DiGraP), a novel layer-wise trainable method that incorporates directional information from gradients to bridge regularization and multi-objective optimization. Besides demonstrating our method on image classification, as another contribution we generalize this area to the multi-modal evaluation settings for robust fine-tuning. Specifically, we first bridge the uni-modal and multi-modal gap by performing analysis on Image Classification reformulated Visual Question Answering (VQA) benchmarks and further categorize ten out-of-distribution (OOD) VQA datasets by distribution shift types and degree (i.e. near versus far OOD). Experimental results show that DiGraP consistently outperforms existing baselines across Image Classfication and VQA tasks with discriminative and generative backbones, improving both in-distribution (ID) generalization and OOD robustness.
• Abstract（参考訳）: ロバスト微調整は、大規模な基礎モデルを下流タスクに適用し、分散シフトに対する堅牢性を維持することを目的としている。 既存の手法は主に、微調整された重量と事前訓練された重量の間の大きさに基づいて、事前訓練された初期化に向けて現在のモデルを制約し、投影することに焦点を当てている。 本研究では,ディレクショナル・グラディエント・プロジェクション(DiGraP, Directional Gradient Projection)を提案する。 画像分類の手法の実証に加えて、この領域を頑健な微調整のためのマルチモーダル評価設定に一般化する。 具体的には、まず、画像分類改革ビジュアル質問回答(VQA)ベンチマークの分析を行い、分散シフトタイプと程度(すなわち、近距離OODと遠距離OOD)による10のアウト・オブ・ディストリビューション(OOD)VQAデータセットを分類することにより、ユニモーダルとマルチモーダルのギャップを橋渡しする。 実験結果から,DiGraPは画像分類およびVQAタスクにおいて,識別的および生成的バックボーンにより既存のベースラインを一貫して上回り,分布内一般化(ID)とOODロバスト性の両方を改善した。

関連論文リスト

• Semi-Supervised Fine-Tuning of Vision Foundation Models with Content-Style Decomposition [4.192370959537781]
  本稿では,ラベル付きデータに制限のある下流タスクにおいて,事前学習した基礎モデルの性能向上を目的とした半教師付き微調整手法を提案する。 我々は、MNIST、その拡張されたバリエーション、CIFAR-10、SVHN、GalaxyMNISTを含む複数のデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-10-02T22:36:12Z)
• Universal Pooling Method of Multi-layer Features from Pretrained Models for Speaker Verification [7.005068872406135]
  大規模事前学習ネットワークを活用した自動話者検証(ASV)研究の最近の進歩が達成されている。 ASVのための事前学習モデルの多層特性を利用するための新しい手法を提案する。 提案した層間処理が,事前学習モデルを利用する利点の最大化にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-09-12T05:55:32Z)
• FSD-BEV: Foreground Self-Distillation for Multi-view 3D Object Detection [33.225938984092274]
  本稿では,分散の相違を効果的に回避するFSD方式を提案する。 また2つのポイントクラウド拡張(PCI)戦略を設計し、ポイントクラウドの幅を補う。 マルチスケール・フォアグラウンド・エンハンスメント(MSFE)モジュールを開発し,マルチスケール・フォアグラウンドの特徴を抽出・融合する。
  論文  参考訳（メタデータ） (2024-07-14T09:39:44Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Gradient Guidance for Diffusion Models: An Optimization Perspective [45.6080199096424]
  本稿では,ユーザ特定目的の最適化に向けて,事前学習した拡散モデルを適用するための勾配ガイダンスの形式について検討する。 我々は,その最適化理論とアルゴリズム設計を体系的に研究するために,誘導拡散の数学的枠組みを確立する。
  論文  参考訳（メタデータ） (2024-04-23T04:51:02Z)
• Enhancing Generalization in Medical Visual Question Answering Tasks via Gradient-Guided Model Perturbation [16.22199565010318]
  本稿では,事前学習と微調整の両段階における多モードモデルの視覚エンコーダに勾配誘導摂動を組み込む手法を提案する。 その結果,訓練前の画像キャプションデータセットが大幅に小さくても,本手法は競合的な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-05T06:57:37Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Disentangled Pre-training for Image Matting [74.10407744483526]
  画像マッチングは、深層モデルのトレーニングをサポートするために高品質なピクセルレベルの人間のアノテーションを必要とする。 本研究では、無限個のデータを活用する自己教師付き事前学習手法を提案し、マッチング性能を向上する。
  論文  参考訳（メタデータ） (2023-04-03T08:16:02Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Deep Keypoint-Based Camera Pose Estimation with Geometric Constraints [80.60538408386016]
  連続するフレームから相対的なカメラのポーズを推定することは、視覚計測の基本的な問題である。 本稿では,検出,特徴抽出,マッチング,外乱除去のための学習可能なモジュールで構成されるエンドツーエンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-29T21:41:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。