論文の概要: Fine-tuning Is a Surprisingly Effective Domain Adaptation Baseline in Handwriting Recognition

• arxiv url: http://arxiv.org/abs/2302.06308v2
• Date: Wed, 30 Apr 2025 12:16:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-10 03:19:15.492341
• Title: Fine-tuning Is a Surprisingly Effective Domain Adaptation Baseline in Handwriting Recognition
• Title（参考訳）: ファインチューニングは、手書き文字認識における驚くほど効果的なドメイン適応ベースライン
• Authors: Jan Kohút, Michal Hradiš,
• Abstract要約: このようなシナリオでは、データ拡張による単純な微調整が驚くほどうまく機能することを示す。 大規模な実世界のデータセットでは、新しいライターの微調整により、16行で25パーセント、256行で50%の平均的なCER改善が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many machine learning tasks, a large general dataset and a small specialized dataset are available. In such situations, various domain adaptation methods can be used to adapt a general model to the target dataset. We show that in the case of neural networks trained for handwriting recognition using CTC, simple fine-tuning with data augmentation works surprisingly well in such scenarios and that it is resistant to overfitting even for very small target domain datasets. We evaluated the behavior of fine-tuning with respect to augmentation, training data size, and quality of the pre-trained network, both in writer-dependent and writer-independent settings. On a large real-world dataset, fine-tuning on new writers provided an average relative CER improvement of 25 % for 16 text lines and 50 % for 256 text lines.
• Abstract（参考訳）: 多くの機械学習タスクでは、大きな汎用データセットと小さな専門データセットが利用可能である。 このような状況下では、汎用モデルをターゲットデータセットに適応させるために、様々なドメイン適応手法を用いることができる。 CTCを用いて手書き認識を訓練したニューラルネットワークの場合、このようなシナリオでは、データ拡張による単純な微調整が驚くほどうまく機能し、非常に小さなターゲットドメインデータセットに対しても、オーバーフィットに耐性があることが示される。 著者に依存しない設定と作者に依存しない設定の両方において、トレーニング済みネットワークの強化、トレーニングデータサイズ、品質に関する微調整の挙動を評価した。 大規模な実世界のデータセットでは、新しいライターの微調整により、16行で25パーセント、256行で50%の平均的なCER改善が得られた。

関連論文リスト

• Ensembling Finetuned Language Models for Text Classification [55.15643209328513]
  ファインタニング(英: Finetuning)は、特定のタスクに事前訓練されたモデルを適用するために、様々なコミュニティで一般的なプラクティスである。 ニューラルネットワークのアンサンブルは、通常、パフォーマンスを高め、信頼性の高い不確実性推定を提供するために使用される。 6つのデータセット上の5つの大きめのモデルから予測されたメタデータセットを提示し、異なるアンサンブル戦略の結果を報告する。
  論文  参考訳（メタデータ） (2024-10-25T09:15:54Z)
• Pseudo-label Based Domain Adaptation for Zero-Shot Text Steganalysis [10.587545153412314]
  擬似ラベルとドメイン適応(教師なし学習)に基づくドメイン間ステゴテキスト分析法(PDTS) 我々は、ラベル付きソースドメインデータを用いてモデルをトレーニングし、自己学習を通じてラベルなしのターゲットドメインデータに対して擬似ラベルを用いて、ターゲットドメインデータ分布に適応する。 実験結果から,本手法はゼロショットテキストステガナリシスタスクにおいて良好に動作し,対象領域にラベル付きデータがない場合でも高い検出精度を実現し,現在のゼロショットテキストステガナリシス手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-06-01T04:19:07Z)
• Text Quality-Based Pruning for Efficient Training of Language Models [66.66259229732121]
  本研究では,大容量NLPデータセットのテキスト品質を数値評価する手法を提案する。 テキスト品質指標を提案することにより、低品質テキストインスタンスを識別・排除する枠組みを確立する。 複数のモデルやデータセットに対する実験結果から,このアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2024-04-26T18:01:25Z)
• Combining Public Human Activity Recognition Datasets to Mitigate Labeled Data Scarcity [1.274578243851308]
  本稿では,一般公開されたデータセットと一般化されたHARモデルを学習するための新たな戦略を提案する。 我々の実験評価は、さまざまな最先端ニューラルネットワークアーキテクチャの実験を含むもので、公開データセットを組み合わせることで、ラベル付きサンプルの数を著しく削減できることを示している。
  論文  参考訳（メタデータ） (2023-06-23T18:51:22Z)
• Diversify Your Vision Datasets with Automatic Diffusion-Based Augmentation [66.6546668043249]
  ALIA(Automated Language-Guided Image Augmentation)は、大規模ビジョンと言語モデルを用いてデータセットのドメインの自然言語記述を自動的に生成する手法である。 データ整合性を維持するために、オリジナルのデータセットでトレーニングされたモデルは、最小限の画像編集とクラス関連情報を破損したデータをフィルタリングする。 そこで本研究では,ALIAが従来のデータ拡張や,詳細な分類作業におけるテキストから画像への変換を超越できることを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:43:05Z)
• Faithful Low-Resource Data-to-Text Generation through Cycle Training [14.375070014155817]
  近年,構造化データからテキストを生成する手法が大幅に進歩している。 サイクルトレーニングでは、互いに逆転する2つのモデルを使用する。 サイクルトレーニングが完全に教師付きアプローチとほぼ同等のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-05-24T06:44:42Z)
• Adaptive Multi-Corpora Language Model Training for Speech Recognition [13.067901680326932]
  本稿では,学習過程に沿って各コーパスのサンプリング確率を動的に学習・調整する適応型多コーパス学習アルゴリズムを提案する。 静的サンプリング戦略のベースラインと比較すると,提案手法は顕著な改善をもたらす。
  論文  参考訳（メタデータ） (2022-11-09T06:54:50Z)
• Improving Data Driven Inverse Text Normalization using Data Augmentation [14.820077884045645]
  逆テキスト正規化(ITN)は、自動音声認識(ASR)システムの音声フォーム出力を書式に変換するために用いられる。 本稿では、ドメイン外のテキストデータからリッチな音声による数値ペアを効果的に生成するデータ拡張手法を提案する。 我々は、データ拡張技術を用いてトレーニングしたITNモデルが、ドメイン内データのみを用いてトレーニングしたITNモデルより一貫して優れていることを実証的に実証した。
  論文  参考訳（メタデータ） (2022-07-20T06:07:26Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• Transferring BERT-like Transformers' Knowledge for Authorship Verification [8.443350618722562]
  著者確認作業におけるBERT様変圧器の有効性について検討した。 我々はPAN-2020の新しいスプリットを提供し、不連続なトピックや著者からトレーニングデータとテストデータをサンプリングする。 これらの分割は、新しい、かなり異なるデータセット上で知識を伝達するモデルの能力を高めることができることを示す。
  論文  参考訳（メタデータ） (2021-12-09T18:57:29Z)
• VisDA-2021 Competition Universal Domain Adaptation to Improve Performance on Out-of-Distribution Data [64.91713686654805]
  Visual Domain Adaptation (VisDA) 2021コンペティションは、新しいテストディストリビューションに適応するモデルの能力をテストする。 我々は,新しい視点,背景,モダリティ,品質劣化への適応性を評価する。 厳密なプロトコルを使用してパフォーマンスを計測し、最先端のドメイン適応手法と比較する。
  論文  参考訳（メタデータ） (2021-07-23T03:21:51Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)
• Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation [77.62366712130196]
  マルチドメイン MetaLWOz データセットに微調整した GPT-2 に基づくハイブリッド生成・検索モデル DSTC8 の高速領域適応タスクにおける入賞条件について述べる。 提案モデルでは,MetaLWOz上の解析論理をフォールバックとして使用し,人間の評価におけるSoTA(第2位システムよりも4%向上)と,未知のMultiWOZデータセットに適応した競合一般化性能を実現する。
  論文  参考訳（メタデータ） (2020-03-03T18:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。