論文の概要: Document Image Cleaning using Budget-Aware Black-Box Approximation

• arxiv url: http://arxiv.org/abs/2306.13236v1
• Date: Thu, 22 Jun 2023 23:07:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 14:06:52.030654
• Title: Document Image Cleaning using Budget-Aware Black-Box Approximation
• Title（参考訳）: 予算対応ブラックボックス近似による文書画像のクリーニング
• Authors: Ganesh Tata, Katyani Singh, Eric Van Oeveren, Nilanjan Ray
• Abstract要約: そこで本研究では,OCRエンジンクエリの10%未満でOCRプリプロセッサをトレーニングするための2つのサンプル選択アルゴリズムを提案する。 また、商用OCRエンジンのワードレベルの精度を4%改善し、総クエリの2.5%と32倍のコスト削減を実現した。
• 参考スコア（独自算出の注目度）: 6.59529078336196
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent work has shown that by approximating the behaviour of a non-differentiable black-box function using a neural network, the black-box can be integrated into a differentiable training pipeline for end-to-end training. This methodology is termed "differentiable bypass,'' and a successful application of this method involves training a document preprocessor to improve the performance of a black-box OCR engine. However, a good approximation of an OCR engine requires querying it for all samples throughout the training process, which can be computationally and financially expensive. Several zeroth-order optimization (ZO) algorithms have been proposed in black-box attack literature to find adversarial examples for a black-box model by computing its gradient in a query-efficient manner. However, the query complexity and convergence rate of such algorithms makes them infeasible for our problem. In this work, we propose two sample selection algorithms to train an OCR preprocessor with less than 10% of the original system's OCR engine queries, resulting in more than 60% reduction of the total training time without significant loss of accuracy. We also show an improvement of 4% in the word-level accuracy of a commercial OCR engine with only 2.5% of the total queries and a 32x reduction in monetary cost. Further, we propose a simple ranking technique to prune 30% of the document images from the training dataset without affecting the system's performance.
• Abstract（参考訳）: 近年の研究では、ニューラルネットワークを用いた非微分可能なブラックボックス関数の挙動を近似することで、ブラックボックスをエンドツーエンドトレーニングのために微分可能なトレーニングパイプラインに統合できることが示されている。 この手法を 'differentiable bypass,' と呼び、この手法を成功させるためには、ブラックボックスのOCRエンジンの性能を改善するために文書プリプロセッサを訓練する必要がある。 しかし、OCRエンジンを適切に近似するには、トレーニングプロセス全体を通して全てのサンプルに対してクエリする必要がある。 いくつかのゼロ階最適化(ZO)アルゴリズムがブラックボックス攻撃の文献で提案されており、その勾配をクエリ効率よく計算することでブラックボックスモデルの逆例を見つけることができる。 しかし、そのようなアルゴリズムのクエリの複雑さと収束率により、我々の問題では実現不可能である。 本研究では,OCRエンジンクエリの10%未満でOCRプリプロセッサをトレーニングする2つのサンプル選択アルゴリズムを提案する。 また,商用ocrエンジンの単語レベルの精度が4%向上し,総クエリの2.5%,通貨コストが32倍削減された。 さらに,システムの性能に影響を与えることなく,トレーニングデータセットから文書画像の30%を抽出する簡単なランキング手法を提案する。

関連論文リスト

• Optimizing Tensor Computation Graphs with Equality Saturation and Monte Carlo Tree Search [0.0]
  モンテカルロ木探索を用いて優れた表現を構築するテンソルグラフ書き換え手法を提案する。 提案手法は,既存の手法と比較して,ニューラルネットワークの推論速度を最大11%向上させる。
  論文  参考訳（メタデータ） (2024-10-07T22:22:02Z)
• Sample Less, Learn More: Efficient Action Recognition via Frame Feature Restoration [59.6021678234829]
  本稿では,2つのスパースサンプリングおよび隣接するビデオフレームの中間特徴を復元する新しい手法を提案する。 提案手法の統合により, 一般的な3つのベースラインの効率は50%以上向上し, 認識精度は0.5%低下した。
  論文  参考訳（メタデータ） (2023-07-27T13:52:42Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• DynamoRep: Trajectory-Based Population Dynamics for Classification of Black-box Optimization Problems [0.755972004983746]
  簡単な統計量を用いて最適化アルゴリズムの軌道を記述する特徴抽出法を提案する。 提案するDynamoRep機能は,最適化アルゴリズムが動作している問題クラスを特定するのに十分な情報を取得する。
  論文  参考訳（メタデータ） (2023-06-08T06:57:07Z)
• Mechanic: A Learning Rate Tuner [52.4242550204696]
  我々は,任意の基本最適化アルゴリズムの学習率尺度係数を調整し,自動的にスケジュールする手法を導入し,それをテクスチャメカニックと呼ぶ。 各種バッチサイズ,スケジュール,基本最適化アルゴリズムを用いて,大規模深層学習タスクにおけるテクスチャメカニックを厳格に評価する。
  論文  参考訳（メタデータ） (2023-05-31T19:32:43Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Switching between Numerical Black-box Optimization Algorithms with Warm-starting Policies [3.967483941966979]
  We build on Vermetten et al. [GECCO 2020] to investigate promising switchs between pairs of algorithm for numerical black-box optimization。 2つのアルゴリズムを1つのスイッチで切り替えることで、5つのアルゴリズムの中で最高の静的選択を達成できることが示される。 また,BFGSとCMA-ESの切り替えには,パラメータの適切なウォームスタートが不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-04-13T17:35:14Z)
• Passive Batch Injection Training Technique: Boosting Network Performance by Injecting Mini-Batches from a different Data Distribution [39.8046809855363]
  この研究は、元の入力データとは異なる分布から追加のデータを利用するディープニューラルネットワークの新しいトレーニング手法を提案する。 私たちの知る限りでは、畳み込みニューラルネットワーク(CNN)のトレーニングを支援するために、異なるデータ分散を利用する最初の研究である。
  論文  参考訳（メタデータ） (2020-06-08T08:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。