論文の概要: CST: Calibration Side-Tuning for Parameter and Memory Efficient Transfer Learning

• arxiv url: http://arxiv.org/abs/2402.12736v1
• Date: Tue, 20 Feb 2024 06:01:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 17:01:21.513389
• Title: CST: Calibration Side-Tuning for Parameter and Memory Efficient Transfer Learning
• Title（参考訳）: CST:パラメータとメモリ効率向上のための校正サイドチューニング
• Authors: Feng Chen
• Abstract要約: 本稿では,サイドチューニングと呼ばれる軽量な微調整戦略を提案する。 アダプタチューニングとサイドチューニングの側面を取り入れて、ResNetで使用するトランスフォーマーで成功したテクニックを適応させる。 本稿は、複数の微調整戦略の分析を行い、ResNet内でそれらのアプリケーションを実装した。
• 参考スコア（独自算出の注目度）: 4.776619551860301
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Achieving a universally high accuracy in object detection is quite challenging, and the mainstream focus in the industry currently lies on detecting specific classes of objects. However, deploying one or multiple object detection networks requires a certain amount of GPU memory for training and storage capacity for inference. This presents challenges in terms of how to effectively coordinate multiple object detection tasks under resource-constrained conditions. This paper introduces a lightweight fine-tuning strategy called Calibration side tuning, which integrates aspects of adapter tuning and side tuning to adapt the successful techniques employed in transformers for use with ResNet. The Calibration side tuning architecture that incorporates maximal transition calibration, utilizing a small number of additional parameters to enhance network performance while maintaining a smooth training process. Furthermore, this paper has conducted an analysis on multiple fine-tuning strategies and have implemented their application within ResNet, thereby expanding the research on fine-tuning strategies for object detection networks. Besides, this paper carried out extensive experiments using five benchmark datasets. The experimental results demonstrated that this method outperforms other compared state-of-the-art techniques, and a better balance between the complexity and performance of the finetune schemes is achieved.
• Abstract（参考訳）: オブジェクト検出において普遍的に高い精度を達成することは極めて困難であり、業界における主要な焦点は、現在特定の種類のオブジェクトを検出することである。 しかし、1つまたは複数のオブジェクト検出ネットワークをデプロイするには、トレーニングのためのGPUメモリと推論のためのストレージ容量が一定必要である。 これは、リソース制約条件下で複数のオブジェクト検出タスクを効果的に協調させる方法についての課題を示す。 本稿では,resnetで使用するトランスフォーマーに使用される手法を適応させるために,アダプタチューニングとサイドチューニングの側面を統合した,キャリブレーションサイドチューニングと呼ばれる軽量な微調整戦略を提案する。 最大遷移キャリブレーションを組み込んだキャリブレーションサイドチューニングアーキテクチャは、スムースなトレーニングプロセスを維持しながらネットワーク性能を向上させるために、少数の追加パラメータを活用している。 さらに,複数の微調整戦略の分析を行い,resnet内でその応用を行い,対象検出ネットワークの微調整戦略に関する研究を拡大した。 さらに,5つのベンチマークデータセットを用いて広範な実験を行った。 実験により, 本手法は他の比較技術よりも優れており, ファインチューン方式の複雑さと性能のバランスが良くなった。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• A survey on efficient vision transformers: algorithms, techniques, and performance benchmarking [19.65897437342896]
  Vision Transformer (ViT) アーキテクチャは、コンピュータビジョンアプリケーションに取り組むために人気が高まり、広く使われている。 本稿では,ビジョントランスフォーマーを効率的にするための戦略を数学的に定義し,最先端の方法論を記述・議論し,その性能を異なるアプリケーションシナリオで解析する。
  論文  参考訳（メタデータ） (2023-09-05T08:21:16Z)
• Transferability Metrics for Object Detection [0.0]
  Transfer Learningは、既存のトレーニング済みモデルを最大限に活用して、限られたデータシナリオで新しいタスクのパフォーマンスを向上させることを目的としている。 我々は、ROI-Align と TLogME を用いて、転送可能性のメトリクスをオブジェクト検出に拡張する。 我々は,TLogMEが転送性能とロバストな相関を示し,局所的およびグローバルなレベルの特性で他の転送可能性指標より優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-27T08:49:31Z)
• Pointerformer: Deep Reinforced Multi-Pointer Transformer for the Traveling Salesman Problem [67.32731657297377]
  トラベリングセールスマン問題(TSP)は、もともと輸送と物流の領域で発生した古典的な経路最適化問題である。 近年, 深層強化学習は高い推論効率のため, TSP の解法として採用されている。 本稿では,多点変換器をベースとした新しいエンドツーエンドDRL手法であるPointerformerを提案する。
  論文  参考訳（メタデータ） (2023-04-19T03:48:32Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Resource-Efficient Invariant Networks: Exponential Gains by Unrolled Optimization [8.37077056358265]
  本稿では,最適化に基づく不変ネットワーク構築のための新しい計算プリミティブを提案する。 提案手法の効率向上と音質の実証的,理論的検討を行った。 単純な階層的オブジェクト検出タスクに対して,効率的な不変ネットワークを構築する上で,その有用性を実証する。
  論文  参考訳（メタデータ） (2022-03-09T19:04:08Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)
• One-Shot Object Detection without Fine-Tuning [62.39210447209698]
  本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。 また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。 提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
  論文  参考訳（メタデータ） (2020-05-08T01:59:23Z)
• Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks [54.23874144090228]
  一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。 以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。 本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-15T12:57:21Z)
• Experimental adaptive Bayesian estimation of multiple phases with limited data [0.0]
  追加の制御パラメータを利用するアダプティブプロトコルは、量子センサの性能を最適化して、そのような制限されたデータ構造で動作するためのツールを提供する。 推定プロセス中に制御パラメータをチューニングするための最適な戦略を見つけることは自明な問題であり、機械学習技術はそのような課題に対処するための自然な解決策である。 フェムト秒レーザーによる小型でフレキシブルな集積フォトニック回路を用いて、高い制御率で異なる戦略を実現できる。
  論文  参考訳（メタデータ） (2020-02-04T11:32:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。