論文の概要: Fine-grained Retrieval Prompt Tuning
- arxiv url: http://arxiv.org/abs/2207.14465v1
- Date: Fri, 29 Jul 2022 04:10:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-01 12:48:44.556664
- Title: Fine-grained Retrieval Prompt Tuning
- Title(参考訳): きめ細かい検索プロンプトチューニング
- Authors: Shijie Wang, Jianlong Chang, Zhihui Wang, Haojie Li, Wanli Ouyang, Qi
Tian
- Abstract要約: 微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。
学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
- 参考スコア(独自算出の注目度): 149.9071858259279
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-grained object retrieval aims to learn discriminative representation to
retrieve visually similar objects. However, existing top-performing works
usually impose pairwise similarities on the semantic embedding spaces to
continually fine-tune the entire model in limited-data regimes, thus resulting
in easily converging to suboptimal solutions. In this paper, we develop
Fine-grained Retrieval Prompt Tuning (FRPT), which steers a frozen pre-trained
model to perform the fine-grained retrieval task from the perspectives of
sample prompt and feature adaptation. Specifically, FRPT only needs to learn
fewer parameters in the prompt and adaptation instead of fine-tuning the entire
model, thus solving the convergence to suboptimal solutions caused by
fine-tuning the entire model. Technically, as sample prompts, a structure
perturbation prompt (SPP) is introduced to zoom and even exaggerate some pixels
contributing to category prediction via a content-aware inhomogeneous sampling
operation. In this way, SPP can make the fine-grained retrieval task aided by
the perturbation prompts close to the solved task during the original
pre-training. Besides, a category-specific awareness head is proposed and
regarded as feature adaptation, which removes the species discrepancies in the
features extracted by the pre-trained model using instance normalization, and
thus makes the optimized features only include the discrepancies among
subcategories. Extensive experiments demonstrate that our FRPT with fewer
learnable parameters achieves the state-of-the-art performance on three
widely-used fine-grained datasets.
- Abstract(参考訳): 細粒度オブジェクト検索は、視覚的に類似したオブジェクトを検索するために識別表現を学習することを目的としている。
しかし、既存のトップパフォーマンスワークは、通常、セマンティックな埋め込み空間にペアワイズな類似性を課し、限定データレギュレーションでモデル全体を連続的に微調整し、その結果、最適化された解に容易に収束する。
本稿では, サンプルプロンプトと特徴適応の観点から, 微粒化検索タスクを実行するために, 凍結した事前学習モデルの制御を行うFRPT(Fold-fine Retrieval Prompt Tuning)を開発した。
具体的には、FRPTはモデル全体を微調整する代わりに、プロンプトと適応においてより少ないパラメータを学習する必要があり、従ってモデル全体を微調整することによって生じる準最適解への収束を解決する。
技術的には、サンプルプロンプトとして、構造摂動プロンプト(spp)を導入し、コンテンツ認識不均質なサンプリング操作を通じてカテゴリ予測に寄与する画素を誇張する。
このようにして、SPPは、元の事前学習中に解いたタスクに近い摂動プロンプトによって補助されるきめ細かい検索タスクを作成できる。
また, カテゴリー別認知頭部を特徴適応とみなし, 事前学習モデルにより抽出された特徴の種差をインスタンス正規化を用いて除去し, サブカテゴリ間の相違のみを含むようにした。
広範囲な実験により,学習可能なパラメータが少ないFRPTは,広範に使用されている3つの粒度データセットに対して,最先端の性能を実現することが示された。
関連論文リスト
- A Closer Look at the Few-Shot Adaptation of Large Vision-Language Models [19.20874993309959]
現状のArtETLアプローチは、狭義の実験的な設定でのみ強力な性能を示すことを示す。
一般化されたラグランジアン法を適応させることにより,バランス項を最適化したCLAP(CLass-Adaptive linear Probe)の目的を提案する。
論文 参考訳(メタデータ) (2023-12-20T02:58:25Z) - Sparse is Enough in Fine-tuning Pre-trained Large Language Model [105.63770797908127]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳(メタデータ) (2023-12-19T06:06:30Z) - Self-Supervised Dataset Distillation for Transfer Learning [82.09002658558529]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - Estimate-Then-Optimize versus Integrated-Estimation-Optimization versus
Sample Average Approximation: A Stochastic Dominance Perspective [15.832111591654293]
モデルクラスが十分に特定され、十分なデータが存在する場合に、逆の振る舞いが現れることを示す。
また, 標準サンプル平均近似 (SAA) が, 後悔の点において, モデルクラスが適切に特定された場合に, 最悪の結果をもたらすことを示す。
論文 参考訳(メタデータ) (2023-04-13T21:54:53Z) - Adaptive Sparse Gaussian Process [0.0]
これらの問題に対処できる最初の適応スパースガウスプロセス(GP)を提案する。
まず,変分スパースGPアルゴリズムを変形係数によって適応的に再構成する。
そこで我々は,新しいサンプルが到着するたびに,スパースGPモデルの単一誘導点と残りのモデルパラメータを同時に更新することを提案する。
論文 参考訳(メタデータ) (2023-02-20T21:34:36Z) - Gleo-Det: Deep Convolution Feature-Guided Detector with Local Entropy
Optimization for Salient Points [5.955667705173262]
本稿では, 深い畳み込み特徴のガイダンスを伴い, 繰り返し可能性の要求に基づき, きめ細かな制約を実現することを提案する。
畳み込み特徴のガイダンスを用いて、正と負の両面からコスト関数を定義する。
論文 参考訳(メタデータ) (2022-04-27T12:40:21Z) - Controlling for sparsity in sparse factor analysis models: adaptive
latent feature sharing for piecewise linear dimensionality reduction [2.896192909215469]
本稿では,現在潜伏している特徴分解技術の鍵となる限界に対処できる,シンプルでトラクタブルな特徴割り当てモデルを提案する。
適応型因子分析(aFA)と適応型確率的原理成分分析(aPPCA)を応用し,柔軟な構造発見と次元減少を実現する。
APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。
論文 参考訳(メタデータ) (2020-06-22T16:09:11Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳(メタデータ) (2020-04-29T10:54:40Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳(メタデータ) (2020-01-27T22:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。