論文の概要: A note on data-efficient finetuning of vision foundation models

• arxiv url: http://arxiv.org/abs/2610.37510v1
• Date: Tue, 27 Oct 2026 16:30:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.691054
• Title: A note on data-efficient finetuning of vision foundation models
• Title（参考訳）: 視覚基礎モデルのデータ効率向上に関する研究
• Abstract要約: ビジュアル・プロンプティング(VP)は効率的な知識伝達のための有望な手法として登場した。 本稿では,基礎モデルファミリと伝達パラダイム間の相互作用について,簡潔に概説する。 また,ユーザに対して実践的なガイドラインを提供することに関心があり,VPの文脈におけるパフォーマンス向上のために,一般的な正規化手法の適用についても検討する。
• 参考スコア（独自算出の注目度）: 17.2249234816671
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting foundation models to a new task within or beyond the training domain is the de facto standard for building specialized machine learning models. Recently, Visual Prompting (VP) has emerged as a promising technique for efficient knowledge transfer. As new foundation model families~(like Mamba) get introduced and VP pipelines such as AutoVP reach greater maturity, we find a growing need for a systematic evaluation of current approaches. In this work, we assess the performance of the latest models, comparing them to earlier architectures and alternative fine-tuning methods, to better understand the progress, challenges and opportunities in the field of efficient fine-tuning under resource limitations. Towards this goal, this paper provides a concise empirical overview of the interactions among foundation model families (Attention-, Convolution-, and Mamba-based) and transfer paradigms: VP, Linear Probing (LP), Full Fine-tuning (FFT) and Low Rank Adaptation (LoRA). Our work builds up on previous findings by broadening the selection of evaluated models and techniques while tuning hyperparameters. In the interest of delivering practical guidelines for the user, we also explore application of prevalent regularization techniques to boost performance in the context of VP.
• Abstract（参考訳）: 基礎モデルをトレーニング領域内またはそれ以上の新しいタスクに適応させることは、特殊な機械学習モデルを構築するための事実上の標準である。 近年,ビジュアル・プロンプティング (VP) が,効率的な知識伝達のための有望な手法として登場している。 Mambaのような)新しいファンデーションモデルファミリが導入され、AutoVPのようなVPパイプラインがより成熟するにつれて、現在のアプローチの体系的な評価の必要性が高まっています。 本研究では,資源制限下での効率的な微調整の分野での進歩,課題,機会をよりよく理解するために,最新のモデルの性能を評価し,以前のアーキテクチャや代替の微調整手法と比較する。 本研究の目的は,基礎モデルファミリ(アテンション,コンボリューション,マンバベース)と伝達パラダイム(VP,Linear Probing,LP),FFT(Full Fine-tuning,FFT)とLolow Rank Adaptation(LoRA)の相互作用を簡潔に概観することである。 我々の研究は、ハイパーパラメータをチューニングしながら評価されたモデルとテクニックの選択を広げることによって、過去の知見に基づいている。 また,ユーザに対して実践的なガイドラインを提供することに関心があり,VPの文脈におけるパフォーマンス向上のために,一般的な正規化手法の適用についても検討する。

関連論文リスト

• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• Parameter-Efficient Continual Fine-Tuning: A Survey [5.59258786465086]
  AIの次のブレークスルーは、進化する環境への効率的な適応を可能にすることです。 これらの大規模モデルを効率的に適応させる方法の1つが知られている。 PEFT(Efficient Fine-Tuning)
  論文  参考訳（メタデータ） (2025-04-18T17:51:51Z)
• A Survey of Direct Preference Optimization [103.59317151002693]
  LLM(Large Language Models)は、前例のない生成能力を示す。 人的価値との整合性は、有用で無害なデプロイメントを保証する上で、依然として重要です。 直接優先度最適化(DPO)は、最近、合理化された代替案として注目されている。
  論文  参考訳（メタデータ） (2025-03-12T08:45:15Z)
• Provable Meta-Learning with Low-Rank Adaptations [37.120226706944926]
  本稿では,PEFTをベースとしたメタラーニングフレームワークを導入し,未知のタスクに容易に適応できるモデルを学習する。 LoRAを用いた線形モデルでは、適応可能なパラメータの集合を見つけるのに標準再学習が確実に最適であることを示す。 我々は、これらの理論的洞察を、実データビジョンや言語タスクと同様に、合成データの実験を通じて検証する。
  論文  参考訳（メタデータ） (2024-10-29T17:24:18Z)
• Transfer Learning with Foundational Models for Time Series Forecasting using Low-Rank Adaptations [0.0]
  本研究は,時系列予測タスクに対するFM,Large Language Modelsの直接的な適応手法であるLLIAMを提案する。 LLIAMとRecurrent Neural NetworksやTemporal Convolutional Networks、LLMベースのTimeLLMなど、さまざまな最先端DLアルゴリズムのパフォーマンスの比較を行った。 本研究の結果はLLIAMの有効性を実証し, この単純かつ汎用的なアプローチは, 複雑な修正を加える必要がなくなることなく, 有能な結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-10-15T12:14:01Z)
• Parameter-Efficient Fine-Tuning for Pre-Trained Vision Models: A Survey and Benchmark [95.0484665958967]
  事前学習された視覚モデル(PVM)は、幅広い下流の視覚タスクに顕著な適応性を示した。 これらのモデルが数十億または数兆のパラメータにスケールするにつれて、計算と記憶の要求が高いため、従来の完全な微調整はますます非現実的になっている。 パラメータ効率の良いファインチューニング(PEFT)は、モデルパラメータを最小限に調整しながら、完全なファインチューニングに匹敵するパフォーマンスを実現するための、有望な代替手段として登場した。
  論文  参考訳（メタデータ） (2024-02-03T19:12:20Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。