Fugu-MT 論文翻訳(概要): AMF: Adaptable Weighting Fusion with Multiple Fine-tuning for Image Classification

論文の概要: AMF: Adaptable Weighting Fusion with Multiple Fine-tuning for Image Classification

arxiv url: http://arxiv.org/abs/2207.12944v1
Date: Tue, 26 Jul 2022 14:50:03 GMT
ステータス: 処理完了
システム内更新日: 2022-07-27 12:52:50.525412
Title: AMF: Adaptable Weighting Fusion with Multiple Fine-tuning for Image Classification
Title（参考訳）: amf:多重微調整による画像分類のための適応型重み付け融合
Authors: Xuyang Shen, Jo Plested, Sabrina Caldwell, Yiran Zhong and Tom Gedeon
Abstract要約: 本稿では,各データサンプルの微調整戦略を適応的に決定する適応型マルチチューニング手法を提案する。提案手法は,FGVC-Aircraft,Describable Textureのデータセットにおいて,1.69%,2.79%の精度で標準的な微調整手法より優れている。
参考スコア（独自算出の注目度）: 14.05052135034412
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Fine-tuning is widely applied in image classification tasks as a transfer learning approach. It re-uses the knowledge from a source task to learn and obtain a high performance in target tasks. Fine-tuning is able to alleviate the challenge of insufficient training data and expensive labelling of new data. However, standard fine-tuning has limited performance in complex data distributions. To address this issue, we propose the Adaptable Multi-tuning method, which adaptively determines each data sample's fine-tuning strategy. In this framework, multiple fine-tuning settings and one policy network are defined. The policy network in Adaptable Multi-tuning can dynamically adjust to an optimal weighting to feed different samples into models that are trained using different fine-tuning strategies. Our method outperforms the standard fine-tuning approach by 1.69%, 2.79% on the datasets FGVC-Aircraft, and Describable Texture, yielding comparable performance on the datasets Stanford Cars, CIFAR-10, and Fashion-MNIST.
Abstract（参考訳）: ファインチューニングは転写学習手法として画像分類タスクに広く応用されている。ソースタスクからの知識を再利用して、ターゲットタスクで高いパフォーマンスを学習し、取得する。微調整は、トレーニングデータ不足と新しいデータの高価なラベル付けの課題を軽減することができる。しかし、標準的な微調整は複雑なデータ分散の性能に制限がある。そこで本研究では,各データサンプルの微調整戦略を適応的に決定する適応型マルチチューニング手法を提案する。このフレームワークでは、複数の微調整設定と1つのポリシーネットワークを定義する。適応可能なマルチチューニングにおけるポリシーネットワークは、最適な重み付けに動的に調整でき、異なるサンプルを異なる微調整戦略を用いて訓練されたモデルに供給することができる。提案手法は,FGVC-Aircraft,Describable Textureのデータセットで1.69%,FGVC-Aircraft,Describable Textureで2.79%,Stanford Cars,CIFAR-10,Fashion-MNISTのデータセットで同等の性能を示した。

関連論文リスト

Parameter Tracking in Federated Learning with Adaptive Optimization [14.111863825607001]
フェデレートラーニング(FL)では、モデルトレーニングのパフォーマンスはクライアント間のデータ不均一性に強く影響されます。 GT(Gradient Tracking)は、最近、局所モデル更新に修正項を導入することでこの問題を軽減するソリューションとして登場した。現在まで、GTはグラディエント(SGD)ベースのDescentトレーニングしか考慮されていないが、現代のFLフレームワークは収束を改善するために適応性を採用する傾向にある。
論文参考訳（メタデータ） (2025-02-04T21:21:30Z)
Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文参考訳（メタデータ） (2025-01-06T21:16:51Z)
Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
論文参考訳（メタデータ） (2024-10-14T15:48:09Z)
AdaNAT: Exploring Adaptive Policy for Token-Based Image Generation [65.01527698201956]
非自己回帰変換器(NAT)は、少数のステップで良好な品質の画像を合成することができる。そこで我々はAdaNATを提案する。AdaNATは、生成されたサンプルごとに適切なポリシーを自動的に設定する学習可能なアプローチである。
論文参考訳（メタデータ） (2024-08-31T03:53:57Z)
Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting [0.0]
我々は、大規模言語モデル(LLM)の様々な微調整戦略の理解を深めようとしている。我々は,2つのデータセット(COLAとMNLI)で事前学習したモデルに対して,バニラファインチューニングやPBFT(Pattern-Based Fine-Tuning)のような最先端の手法を比較した。以上の結果から,バニラFTやPBFTに匹敵する領域外一般化が期待できる可能性が示唆された。
論文参考訳（メタデータ） (2024-05-21T20:08:52Z)
AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。手作り正則化技術を用いた頑健な微調整への最近のアプローチ我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
論文参考訳（メタデータ） (2024-01-18T18:58:49Z)
SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文参考訳（メタデータ） (2023-08-12T10:33:57Z)
Adaptable Text Matching via Meta-Weight Regulator [14.619068650513917]
メタウェイトレギュレータ(メタウェイトレギュレータ、MWR)は、目標損失との関連性に基づいて、ソースサンプルに重みを割り当てることを学ぶメタラーニングアプローチである。 MWRはまず、一様重み付きソースの例でモデルを訓練し、損失関数を用いて対象の例におけるモデルの有効性を測定する。 MWRはモデルに依存しないため、任意のバックボーンニューラルモデルに適用することができる。
論文参考訳（メタデータ） (2022-04-27T02:28:40Z)
CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文参考訳（メタデータ） (2022-02-11T13:49:51Z)
ANIMC: A Soft Framework for Auto-weighted Noisy and Incomplete Multi-view Clustering [59.77141155608009]
本稿では, ソフトな自己重み付き戦略と2倍のソフトな正規回帰モデルを用いて, 自動重み付きノイズと不完全なマルチビュークラスタリングフレームワーク(ANIMC)を提案する。 ANIMCには3つの独特な利点がある: 1) 異なるシナリオでフレームワークを調整し、その一般化能力を向上させるソフトアルゴリズム、2) 各ビューに対する適切な重み付けを自動的に学習し、ノイズの影響を低減し、3) 異なるビューで同じインスタンスを整列させ、欠落したインスタンスの影響を減少させる。
論文参考訳（メタデータ） (2020-11-20T10:37:27Z)
Conditionally Adaptive Multi-Task Learning: Improving Transfer Learning in NLP Using Fewer Parameters & Less Data [5.689320790746046]
マルチタスク学習(MTL)ネットワークは、異なるタスク間で学習知識を伝達するための有望な方法として登場した。しかし、MTLは、低リソースタスクへの過度な適合、破滅的な忘れ込み、負のタスク転送といった課題に対処しなければならない。本稿では,新しい条件付アテンション機構とタスク条件付きモジュール群からなるトランスフォーマーアーキテクチャを提案する。
論文参考訳（メタデータ） (2020-09-19T02:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。