Fugu-MT 論文翻訳(概要): Zero-Shot Embeddings Inform Learning and Forgetting with Vision-Language Encoders

論文の概要: Zero-Shot Embeddings Inform Learning and Forgetting with Vision-Language Encoders

arxiv url: http://arxiv.org/abs/2407.15731v1
Date: Mon, 22 Jul 2024 15:35:09 GMT
ステータス: 処理完了
システム内更新日: 2024-07-23 14:20:51.543227
Title: Zero-Shot Embeddings Inform Learning and Forgetting with Vision-Language Encoders
Title（参考訳）: Zero-Shot Embeddings inform Learning and Forgetting with Vision-Language Encoders
Authors: Laura Niss, Kevin Vogt-Lowell, Theodoros Tsiligkaridis,
Abstract要約: IMM(Inter-Intra Modal Measure)は、微調整によるパフォーマンス変化の強力な予測器として機能する。 IIMMスコアの高いタスクの微調整はドメイン内のパフォーマンス向上をもたらすが、ドメイン外のパフォーマンス低下も引き起こす。ターゲットデータの1つのフォワードパスだけで、実践者は、この重要な洞察を利用して、モデルが微調整後の改善を期待できる程度を評価することができる。
参考スコア（独自算出の注目度）: 6.7181844004432385
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Despite the proliferation of large vision-language foundation models, estimation of the learning and forgetting outcomes following fine-tuning of these models remains largely unexplored. Inspired by work highlighting the significance of the modality gap in contrastive dual-encoders, we propose the Inter-Intra Modal Measure (IIMM). Combining terms quantifying the similarity between image embeddings and the similarity between incorrect image and label embedding pairs, the IIMM functions as a strong predictor of performance changes with fine-tuning. Our extensive empirical analysis across four state-of-the-art vision-language models (CLIP, SigLIP, CoCa, EVA-02-CLIP) and five fine-tuning techniques (full fine-tuning, BitFit, attention-weight tuning, LoRA, CLIP-Adapter) demonstrates a strong, statistically significant linear relationship: fine-tuning on tasks with higher IIMM scores produces greater in-domain performance gains but also induces more severe out-of-domain performance degradation, with some parameter-efficient fine-tuning (PEFT) methods showing extreme forgetting. We compare our measure against transfer scores from state-of-the-art model selection methods and show that the IIMM is significantly more predictive of accuracy gains. With only a single forward pass of the target data, practitioners can leverage this key insight to heuristically evaluate the degree to which a model can be expected to improve following fine-tuning. Given additional knowledge about the model's performance on a few diverse tasks, this heuristic further evolves into a strong predictor of expected performance changes when training for new tasks.
Abstract（参考訳）: 大きな視覚言語基盤モデルの普及にもかかわらず、これらのモデルの微調整後の学習と学習結果の予測は、ほとんど未解明のままである。コントラストデュアルエンコーダにおけるモダリティギャップの重要性を強調する作業から着想を得て,IIMM(Inter-Intra Modal Measure)を提案する。画像埋め込みと、誤画像とラベル埋め込みの類似性を定量化する用語を組み合わせることで、IIMMは微調整による性能変化の強力な予測器として機能する。最新の4つのビジョン言語モデル(CLIP, SigLIP, CoCa, EVA-02-CLIP)と5つの微調整技術(フル微調整, BitFit, 注意重み付け, LoRA, CLIP-Adapter)を比較検討した結果,強い統計的に有意な線形関係が得られた。我々は,最先端モデル選択法から得られた伝達スコアに対する測定値を比較し,IIMMが精度向上の予測性が高いことを示す。ターゲットデータの1つのフォワードパスだけで、実践者は、この重要な洞察を利用して、モデルが微調整後の改善を期待できる程度をヒューリスティックに評価することができる。このヒューリスティックは、いくつかの多様なタスクにおけるモデルのパフォーマンスに関するさらなる知識を前提として、新しいタスクのトレーニング時に期待されるパフォーマンス変化を予測できる強力な予測器へと進化する。

関連論文リスト

DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
論文参考訳（メタデータ） (2024-05-24T05:46:04Z)
FT2Ra: A Fine-Tuning-Inspired Approach to Retrieval-Augmented Code Completion [24.964973946366335]
我々は,真の微調整を模倣することを目的とした新しい検索手法FT2Raを開発した。 FT2RaはUniXcoderの最良のベースライン方式に比べて精度が4.29%向上している。
論文参考訳（メタデータ） (2024-04-02T01:42:15Z)
VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。 VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。 ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
論文参考訳（メタデータ） (2024-01-15T17:28:37Z)
Revisiting the Critical Factors of Augmentation-Invariant Representation Learning [8.28445083127418]
我々は、MoCo v2とBYOLを再検討し、次の仮定の真正性を証明する。我々は,MoCo v2とBYOLの公正比較のための最初のベンチマークを構築した。
論文参考訳（メタデータ） (2022-07-30T17:07:13Z)
Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2022-03-09T17:26:53Z)
Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文参考訳（メタデータ） (2021-12-10T20:46:13Z)
Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文参考訳（メタデータ） (2021-10-07T11:58:35Z)
MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文参考訳（メタデータ） (2021-10-05T02:14:38Z)
Mean Embeddings with Test-Time Data Augmentation for Ensembling of Representations [8.336315962271396]
表現のアンサンブルを考察し、MeTTA(Test-time augmentation)を用いた平均埋め込みを提案する。 MeTTAは、教師付きモデルと自己教師付きモデルの両方において、ImageNetの線形評価の質を大幅に向上させる。我々は、より高品質な表現を推論するためにアンサンブルの成功を広めることが、多くの新しいアンサンブルアプリケーションを開く重要なステップであると信じている。
論文参考訳（メタデータ） (2021-06-15T10:49:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。