論文の概要: Bayesian Principles Improve Prompt Learning In Vision-Language Models

• arxiv url: http://arxiv.org/abs/2504.14123v1
• Date: Sat, 19 Apr 2025 00:48:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 04:57:00.330001
• Title: Bayesian Principles Improve Prompt Learning In Vision-Language Models
• Title（参考訳）: ベイズ原理は視覚言語モデルにおけるプロンプト学習を改善する
• Authors: Mingyu Kim, Jongwoo Ko, Mijung Park,
• Abstract要約: 本稿では,適応性と一般化性のバランスをとるためのベイズ学習原理に基づく新たな学習目標関数を提案する。 この目的は、訓練済みモデルに近いまま、微調整されたモデルが下流のタスクに適応できるようにすることでバランスを確立する。
• 参考スコア（独自算出の注目度）: 10.593234723172767
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Prompt learning is a popular fine-tuning method for vision-language models due to its efficiency. It requires a small number of additional learnable parameters while significantly enhancing performance on target tasks. However, most existing methods suffer from overfitting to fine-tuning data, yielding poor generalizability. To address this, we propose a new training objective function based on a Bayesian learning principle to balance adaptability and generalizability. We derive a prior over the logits, where the mean function is parameterized by the pre-trained model, while the posterior corresponds to the fine-tuned model. This objective establishes a balance by allowing the fine-tuned model to adapt to downstream tasks while remaining close to the pre-trained model.
• Abstract（参考訳）: プロンプト学習は、その効率性から視覚言語モデルの微調整法として人気がある。 ターゲットタスクのパフォーマンスを大幅に向上させる一方で、学習可能なパラメータを少量追加する必要がある。 しかし、既存のほとんどの手法は、オーバーフィッティングから微調整データに悩まされ、一般化性に乏しい。 そこで本研究では,適応性と一般化性のバランスをとるため,ベイズ学習原理に基づく新たな学習目標関数を提案する。 平均関数は事前学習されたモデルによってパラメータ化され、後続関数は微調整されたモデルに対応する。 この目的は、訓練済みモデルに近いまま、微調整されたモデルが下流のタスクに適応できるようにすることでバランスを確立する。

関連論文リスト

• Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
  本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。 LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。 本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-11-13T08:56:35Z)
• Meta-Learning Adaptable Foundation Models [37.458141335750696]
  本稿では,PEFTを組み込んだメタラーニングフレームワークを導入し,未知のタスクに容易に適応可能なモデルを学習する。 この設定では、適応可能なパラメータの集合を見つけるための標準再訓練の準最適性を示す。 次に、これらの理論的洞察をRoBERTaモデルの再訓練に適用し、ConvAI2データセット内の会話の継続を予測する。
  論文  参考訳（メタデータ） (2024-10-29T17:24:18Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning [21.693779973263172]
  本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。 本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。 一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-23T17:12:01Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
  現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。 その微分可能性を利用してモデルをより効果的に活用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-16T19:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。