論文の概要: Searching a High-Performance Feature Extractor for Text Recognition Network

• arxiv url: http://arxiv.org/abs/2209.13139v1
• Date: Tue, 27 Sep 2022 03:49:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 14:40:18.411222
• Title: Searching a High-Performance Feature Extractor for Text Recognition Network
• Title（参考訳）: テキスト認識ネットワークのための高性能特徴抽出器の探索
• Authors: Hui Zhang, Quanming Yao, James T. Kwok, Xiang Bai
• Abstract要約: 優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 92.12492627169108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature extractor plays a critical role in text recognition (TR), but customizing its architecture is relatively less explored due to expensive manual tweaking. In this work, inspired by the success of neural architecture search (NAS), we propose to search for suitable feature extractors. We design a domain-specific search space by exploring principles for having good feature extractors. The space includes a 3D-structured space for the spatial model and a transformed-based space for the sequential model. As the space is huge and complexly structured, no existing NAS algorithms can be applied. We propose a two-stage algorithm to effectively search in the space. In the first stage, we cut the space into several blocks and progressively train each block with the help of an auxiliary head. We introduce the latency constraint into the second stage and search sub-network from the trained supernet via natural gradient descent. In experiments, a series of ablation studies are performed to better understand the designed space, search algorithm, and searched architectures. We also compare the proposed method with various state-of-the-art ones on both hand-written and scene TR tasks. Extensive results show that our approach can achieve better recognition performance with less latency.
• Abstract（参考訳）: 特徴抽出器はテキスト認識(TR)において重要な役割を担っているが、そのアーキテクチャのカスタマイズは、高価な手作業の微調整のため、比較的少ない。 本研究では,ニューラルアーキテクチャサーチ(NAS)の成功に触発されて,適切な特徴抽出器を探すことを提案する。 優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は、空間モデルのための3次元構造空間と、シーケンシャルモデルのための変換ベース空間を含む。 空間は巨大で複雑な構造であるため、既存のnasアルゴリズムは適用できない。 空間内を効率的に探索する2段階のアルゴリズムを提案する。 第1段階では,空間を複数のブロックに分割し,補助ヘッドの助けを借りて各ブロックを段階的に訓練する。 遅延制約を第2ステージに導入し,自然勾配降下によってトレーニングスーパーネットからサブネットワークを探索する。 実験では、設計空間、探索アルゴリズム、探索アーキテクチャをよりよく理解するために、一連のアブレーション研究が行われた。 また,手書きタスクとシーンTRタスクの両方において,提案手法と最先端タスクを比較した。 その結果,より低レイテンシで認識性能を向上できることがわかった。

関連論文リスト

• LISSNAS: Locality-based Iterative Search Space Shrinkage for Neural Architecture Search [30.079267927860347]
  大規模な空間をSOTA検索性能を持つ多種多様な小さな探索空間に縮小する自動アルゴリズムを提案する。 提案手法は,モバイル制約下でのイメージネットのSOTA Top-1精度77.6%,最良クラスであるKendal-Tau,アーキテクチャの多様性,検索空間サイズを実現している。
  論文  参考訳（メタデータ） (2023-07-06T16:28:51Z)
• AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
  現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。 探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。 学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
  論文  参考訳（メタデータ） (2021-03-22T13:28:56Z)
• Evolving Search Space for Neural Architecture Search [70.71153433676024]
  最適化された検索空間サブセットを維持することにより,前回の取り組みから得られた結果を増幅するニューラルサーチ空間進化(NSE)方式を提案する。 我々は333万のFLOPでImageNet上で77.3%のトップ1リトレーニング精度を実現し、最先端の性能を得た。 遅延制約が適用された場合、我々の結果は、77.9%のTop-1再トレーニング精度を持つ、以前の最高のパフォーマンスのモバイルモデルよりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-11-22T01:11:19Z)
• Representation Sharing for Fast Object Detector Search and Beyond [38.18583590914755]
  本研究では,1段検出器のサブネットワークにおける受容場と畳み込み型の最適構成について,Fast And Diverse (FAD) を提案する。 FADは、様々なバックボーンを持つ2種類の1段検出器において顕著な改善を実現している。
  論文  参考訳（メタデータ） (2020-07-23T15:39:44Z)
• GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
  GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。 1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
  論文  参考訳（メタデータ） (2020-07-07T10:37:49Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Progressive Automatic Design of Search Space for One-Shot Neural Architecture Search [15.017964136568061]
  単発モデルの精度が高いモデルでは,スタンドアローンの訓練では必ずしも優れた性能が得られない。 PAD-NASという検索空間のプログレッシブ自動設計を提案する。 このようにして、PAD-NASは各レイヤの操作を自動的に設計し、検索空間の品質とモデルの多様性のトレードオフを達成できる。
  論文  参考訳（メタデータ） (2020-05-15T14:21:07Z)
• AutoSTR: Efficient Backbone Search for Scene Text Recognition [80.7290173000068]
  テキストインスタンスの多様性とシーンの複雑さのため、シーンテキスト認識(STR)は非常に難しい。 テキスト認識性能を向上させるために,データ依存のバックボーンを検索するための自動STR(AutoSTR)を提案する。 実験によると、データ依存のバックボーンを検索することで、AutoSTRは標準ベンチマークにおける最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2020-03-14T06:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。