論文の概要: AMF: Adaptable Weighting Fusion with Multiple Fine-tuning for Image
Classification
- arxiv url: http://arxiv.org/abs/2207.12944v1
- Date: Tue, 26 Jul 2022 14:50:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-27 12:52:50.525412
- Title: AMF: Adaptable Weighting Fusion with Multiple Fine-tuning for Image
Classification
- Title(参考訳): amf:多重微調整による画像分類のための適応型重み付け融合
- Authors: Xuyang Shen, Jo Plested, Sabrina Caldwell, Yiran Zhong and Tom Gedeon
- Abstract要約: 本稿では,各データサンプルの微調整戦略を適応的に決定する適応型マルチチューニング手法を提案する。
提案手法は,FGVC-Aircraft,Describable Textureのデータセットにおいて,1.69%,2.79%の精度で標準的な微調整手法より優れている。
- 参考スコア(独自算出の注目度): 14.05052135034412
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning is widely applied in image classification tasks as a transfer
learning approach. It re-uses the knowledge from a source task to learn and
obtain a high performance in target tasks. Fine-tuning is able to alleviate the
challenge of insufficient training data and expensive labelling of new data.
However, standard fine-tuning has limited performance in complex data
distributions. To address this issue, we propose the Adaptable Multi-tuning
method, which adaptively determines each data sample's fine-tuning strategy. In
this framework, multiple fine-tuning settings and one policy network are
defined. The policy network in Adaptable Multi-tuning can dynamically adjust to
an optimal weighting to feed different samples into models that are trained
using different fine-tuning strategies. Our method outperforms the standard
fine-tuning approach by 1.69%, 2.79% on the datasets FGVC-Aircraft, and
Describable Texture, yielding comparable performance on the datasets Stanford
Cars, CIFAR-10, and Fashion-MNIST.
- Abstract(参考訳): ファインチューニングは転写学習手法として画像分類タスクに広く応用されている。
ソースタスクからの知識を再利用して、ターゲットタスクで高いパフォーマンスを学習し、取得する。
微調整は、トレーニングデータ不足と新しいデータの高価なラベル付けの課題を軽減することができる。
しかし、標準的な微調整は複雑なデータ分散の性能に制限がある。
そこで本研究では,各データサンプルの微調整戦略を適応的に決定する適応型マルチチューニング手法を提案する。
このフレームワークでは、複数の微調整設定と1つのポリシーネットワークを定義する。
適応可能なマルチチューニングにおけるポリシーネットワークは、最適な重み付けに動的に調整でき、異なるサンプルを異なる微調整戦略を用いて訓練されたモデルに供給することができる。
提案手法は,FGVC-Aircraft,Describable Textureのデータセットで1.69%,FGVC-Aircraft,Describable Textureで2.79%,Stanford Cars,CIFAR-10,Fashion-MNISTのデータセットで同等の性能を示した。
関連論文リスト
- AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。
手作り正則化技術を用いた頑健な微調整への最近のアプローチ
我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
論文 参考訳(メタデータ) (2024-01-18T18:58:49Z) - VeCAF: VLM-empowered Collaborative Active Finetuning with Training
Objective Awareness [58.40419742596087]
PVM(Pretrained Vision Model)は、下流の視覚タスクを学習するための一般的なテクニックである。
VLMを用いた協調型アクティブファインタニング(VeCAF)を提案する。
VeCAFは、調整中のモデルのトレーニング目標を組み込むことで、パラメトリックデータ選択モデルを最適化する。
論文 参考訳(メタデータ) (2024-01-15T17:28:37Z) - AdaptIR: Parameter Efficient Multi-task Adaptation for Pre-trained Image
Restoration Models [58.10797482129863]
本稿では,事前学習した復元モデルに適応するためのパラメータ効率の良い移動学習手法であるAdaptIRを提案する。
実験により,提案手法は0.6%しか使用せず,完全微調整よりも同等あるいはさらに優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2023-12-12T14:27:59Z) - SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。
異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。
実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-08-12T10:33:57Z) - Efficient Adaptive Ensembling for Image Classification [3.7241274058257092]
本稿では,複雑性を増大させることなく画像分類性能を向上させる新しい手法を提案する。
データの不整合部分集合に基づいて2つの効率的なNet-b0のエンドツーエンドモデルを訓練した。
精度で平均0.5$%の精度で最先端の技術を上回りました。
論文 参考訳(メタデータ) (2022-06-15T08:55:47Z) - Adaptable Text Matching via Meta-Weight Regulator [14.619068650513917]
メタウェイトレギュレータ(メタウェイトレギュレータ、MWR)は、目標損失との関連性に基づいて、ソースサンプルに重みを割り当てることを学ぶメタラーニングアプローチである。
MWRはまず、一様重み付きソースの例でモデルを訓練し、損失関数を用いて対象の例におけるモデルの有効性を測定する。
MWRはモデルに依存しないため、任意のバックボーンニューラルモデルに適用することができる。
論文 参考訳(メタデータ) (2022-04-27T02:28:40Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2022-03-30T23:16:07Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳(メタデータ) (2022-02-11T13:49:51Z) - Towards Efficient and Data Agnostic Image Classification Training
Pipeline for Embedded Systems [0.0]
本研究は,画像分類における最新の拡張および正規化手法の見直しに重点を置いている。
各タスクにパラメータを手動で調整することなく、様々なダウンストリーム画像分類タスクにおいて合理的なパフォーマンスを実現することができる。
結果モデルは計算効率が良く、OpenVINOツールキットを使ってCPUにデプロイできる。
論文 参考訳(メタデータ) (2021-08-16T12:38:05Z) - ANIMC: A Soft Framework for Auto-weighted Noisy and Incomplete
Multi-view Clustering [59.77141155608009]
本稿では, ソフトな自己重み付き戦略と2倍のソフトな正規回帰モデルを用いて, 自動重み付きノイズと不完全なマルチビュークラスタリングフレームワーク(ANIMC)を提案する。
ANIMCには3つの独特な利点がある: 1) 異なるシナリオでフレームワークを調整し、その一般化能力を向上させるソフトアルゴリズム、2) 各ビューに対する適切な重み付けを自動的に学習し、ノイズの影響を低減し、3) 異なるビューで同じインスタンスを整列させ、欠落したインスタンスの影響を減少させる。
論文 参考訳(メタデータ) (2020-11-20T10:37:27Z) - Conditionally Adaptive Multi-Task Learning: Improving Transfer Learning
in NLP Using Fewer Parameters & Less Data [5.689320790746046]
マルチタスク学習(MTL)ネットワークは、異なるタスク間で学習知識を伝達するための有望な方法として登場した。
しかし、MTLは、低リソースタスクへの過度な適合、破滅的な忘れ込み、負のタスク転送といった課題に対処しなければならない。
本稿では,新しい条件付アテンション機構とタスク条件付きモジュール群からなるトランスフォーマーアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-09-19T02:04:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。