Fugu-MT 論文翻訳(概要): DetOFA: Efficient Training of Once-for-All Networks for Object Detection by Using Pre-trained Supernet and Path Filter

論文の概要: DetOFA: Efficient Training of Once-for-All Networks for Object Detection by Using Pre-trained Supernet and Path Filter

arxiv url: http://arxiv.org/abs/2303.13121v1
Date: Thu, 23 Mar 2023 09:23:11 GMT
ステータス: 処理完了
システム内更新日: 2023-03-24 15:03:55.607262
Title: DetOFA: Efficient Training of Once-for-All Networks for Object Detection by Using Pre-trained Supernet and Path Filter
Title（参考訳）: DetOFA: 事前学習したスーパーネットとパスフィルタを用いたオブジェクト検出のための一括学習
Authors: Yuiko Sakuma, Masato Ishii, Takuya Narihira
Abstract要約: 本稿では,トランスファーラーニングと探索空間プルーニングを併用した,効率的なスーパーネットベースニューラルネットワーク探索手法を提案する。提案手法は,最適ネットワークアーキテクチャの計算コストを30%と63%削減し,精度の高い浮動小数点演算を行う。
参考スコア（独自算出の注目度）: 4.1509697008011175
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We address the challenge of training a large supernet for the object detection task, using a relatively small amount of training data. Specifically, we propose an efficient supernet-based neural architecture search (NAS) method that uses transfer learning and search space pruning. First, the supernet is pre-trained on a classification task, for which large datasets are available. Second, the search space defined by the supernet is pruned by removing candidate models that are predicted to perform poorly. To effectively remove the candidates over a wide range of resource constraints, we particularly design a performance predictor, called path filter, which can accurately predict the relative performance of the models that satisfy similar resource constraints. Hence, supernet training is more focused on the best-performing candidates. Our path filter handles prediction for paths with different resource budgets. Compared to once-for-all, our proposed method reduces the computational cost of the optimal network architecture by 30% and 63%, while yielding better accuracy-floating point operations Pareto front (0.85 and 0.45 points of improvement on average precision for Pascal VOC and COCO, respectively).
Abstract（参考訳）: オブジェクト検出タスクにおいて,比較的少数のトレーニングデータを用いて,大規模なスーパーネットをトレーニングするという課題に対処する。具体的には、トランスファーラーニングと探索空間プルーニングを用いた効率的なスーパーネットベースニューラルアーキテクチャサーチ(NAS)手法を提案する。まず、スーパーネットは、大きなデータセットが利用可能な分類タスクで事前トレーニングされる。第二に、スーパーネットによって定義された探索空間は、性能が悪いと予測される候補モデルを取り除いてプラニングされる。幅広い資源制約を乗り越える候補を効果的に除去するため,パスフィルタと呼ばれる性能予測器を特に設計し,類似した資源制約を満足するモデルの相対性能を正確に予測する。したがって、スーパーネットトレーニングは、最も優れた候補に焦点を当てている。我々の経路フィルタは資源予算の異なる経路の予測を扱う。提案手法は1回に1回比較すると,最適ネットワークアーキテクチャの計算コストを30%,63%削減し,Pareto前部(Pascal VOCとCOCOの平均精度0.85点,0.45点)の精度向上を実現した。

関連論文リスト

Learning the Regularization Strength for Deep Fine-Tuning via a Data-Emphasized Variational Objective [4.453137996095194]
グリッド検索は計算コストが高く、検証セットを彫り出す必要があり、実践者は候補値を指定する必要がある。提案手法はグリッド探索の3つの欠点をすべて克服する。いくつかのデータセットにおける画像分類タスクの有効性を実証し,既存の手法に匹敵するホールドアウト精度を得た。
論文参考訳（メタデータ） (2024-10-25T16:32:11Z)
Differentiable Transportation Pruning [23.766356215156488]
プルーニングメソッドは、ストレージ、計算、メモリ帯域幅、エネルギー使用量を改善するため、エッジデプロイメントのキーとなるツールである。本稿では,出力ネットワークサイズを正確に制御できる新しいプルーニング手法を提案する。提案手法は,従来の3つの異なるデータセットにおけるプルーニング手法と比較して,最先端の性能を実現する。
論文参考訳（メタデータ） (2023-07-17T13:44:11Z)
TransPath: Learning Heuristics For Grid-Based Pathfinding via Transformers [64.88759709443819]
探索の効率を顕著に向上させると考えられる,インスタンス依存のプロキシを学習することを提案する。私たちが最初に学ぶことを提案するプロキシは、補正係数、すなわち、インスタンスに依存しないコスト・ツー・ゴの見積もりと完璧な見積もりの比率である。第2のプロキシはパス確率であり、グリッドセルが最も短いパスに横たわっている可能性を示している。
論文参考訳（メタデータ） (2022-12-22T14:26:11Z)
Dynamic Sparse Training via Balancing the Exploration-Exploitation Trade-off [19.230329532065635]
スパーストレーニングは、モデルサイズを減らすことで、トレーニングコストを大幅に削減する可能性がある。既存のスパーストレーニング方法は、主にランダムベースまたはグリーディベースのドロップ・アンド・グロー戦略を使用する。本研究では,動的スパース学習をスパース接続探索問題として考察する。実験の結果,提案手法により得られたスパースモデル(最大98%のスパース)は,SOTAスパース訓練法より優れていた。
論文参考訳（メタデータ） (2022-11-30T01:22:25Z)
Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文参考訳（メタデータ） (2022-10-31T09:46:26Z)
Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文参考訳（メタデータ） (2021-06-18T01:03:13Z)
ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2020-10-13T04:34:24Z)
Pruning Convolutional Filters using Batch Bridgeout [14.677724755838556]
最先端のコンピュータビジョンモデルでは、トレーニングセットに適合するために必要なパラメータ数がはるかに多いため、能力が急速に向上している。これにより最適化と一般化性能が向上する。推論コストを削減するために、トレーニングされたニューラルネットワークの畳み込みフィルタを切断することで、推論中の実行時のメモリと計算要求を削減できる。本稿では,ニューラルネットワークの性能低下を最小限に抑え,効率よく刈り取ることができるようにトレーニングするために,スパシティ誘導正規化スキームであるBatch Bridgeoutを提案する。
論文参考訳（メタデータ） (2020-09-23T01:51:47Z)
Holistic Filter Pruning for Efficient Deep Neural Networks [25.328005340524825]
HFP(Holistic Filter Pruning)は、実装が容易で正確なプルーニング率の特定が可能な、一般的なDNNトレーニングのための新しいアプローチである。各種実験において,CIFAR-10 と ImageNet のトレーニングと最先端性能について考察した。
論文参考訳（メタデータ） (2020-09-17T09:23:36Z)
APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文参考訳（メタデータ） (2020-06-15T16:09:17Z)
Filter Sketch for Network Pruning [184.41079868885265]
事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
論文参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。