論文の概要: Self-Supervised Representation Learning for Online Handwriting Text Classification

• arxiv url: http://arxiv.org/abs/2310.06645v1
• Date: Tue, 10 Oct 2023 14:07:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 15:05:22.685598
• Title: Self-Supervised Representation Learning for Online Handwriting Text Classification
• Title（参考訳）: オンライン手書きテキスト分類のための自己教師付き表現学習
• Authors: Pouya Mehralian, Bagher BabaAli, Ashena Gorgan Mohammadi
• Abstract要約: 本稿では,日本語と中国語の個人によるオンライン筆跡から情報表現を抽出するための事前学習の前提として,新しいストロークマスキング(POSM)を提案する。 抽出した表現の質を評価するために,本質的評価法と外生的評価法の両方を用いる。 事前訓練されたモデルは、作家の識別、性別分類、手書きの分類といったタスクにおいて、最先端の結果を達成するために微調整される。
• 参考スコア（独自算出の注目度）: 0.8594140167290099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning offers an efficient way of extracting rich representations from various types of unlabeled data while avoiding the cost of annotating large-scale datasets. This is achievable by designing a pretext task to form pseudo labels with respect to the modality and domain of the data. Given the evolving applications of online handwritten texts, in this study, we propose the novel Part of Stroke Masking (POSM) as a pretext task for pretraining models to extract informative representations from the online handwriting of individuals in English and Chinese languages, along with two suggested pipelines for fine-tuning the pretrained models. To evaluate the quality of the extracted representations, we use both intrinsic and extrinsic evaluation methods. The pretrained models are fine-tuned to achieve state-of-the-art results in tasks such as writer identification, gender classification, and handedness classification, also highlighting the superiority of utilizing the pretrained models over the models trained from scratch.
• Abstract（参考訳）: 自己教師付き学習は、大規模データセットの注釈付けコストを回避しつつ、さまざまな種類のラベル付けされていないデータからリッチな表現を抽出する効率的な方法を提供する。 これは、データのモダリティとドメインに関して擬似ラベルを形成するプリテキストタスクを設計することで達成できる。 本研究は、オンライン手書きテキストの進化的応用を踏まえ、英語と中国語の個人によるオンライン手書きテキストから情報表現を抽出する事前学習用モデルとして、事前訓練されたモデルの微調整のための2つのパイプラインとともに、新しいストロークマスキング(POSM)を提案する。 抽出した表現の質を評価するために,本質的評価法と外生的評価法の両方を用いる。 事前学習されたモデルは、著者の識別、性別の分類、手話の分類などのタスクで最新の結果を達成するために微調整され、スクラッチから訓練されたモデルよりも事前訓練されたモデルを活用することの優位性が強調される。

関連論文リスト

• Self-Alignment with Instruction Backtranslation [162.02529653768096]
  本稿では,人文テキストに対応する命令を自動ラベル付けすることで,高品質な命令従言語モデルを構築する方法を提案する。 我々の手法は命令バックトランスレーションと呼ばれ、少量のシードデータと与えられたWebコーパスに基づいて微調整された言語モデルから始まります。
  論文  参考訳（メタデータ） (2023-08-11T17:47:54Z)
• Zero-Shot Text Classification via Self-Supervised Tuning [46.9902502503747]
  ゼロショットテキスト分類タスクを解決するための自己教師付き学習に基づく新しいパラダイムを提案する。 自己教師付きチューニングという,ラベルのないデータで言語モデルをチューニングする。 我々のモデルは10タスク中7タスクで最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-19T05:47:33Z)
• How to Choose Pretrained Handwriting Recognition Models for Single Writer Fine-Tuning [23.274139396706264]
  近年のDeep Learning-based Handwriting Text Recognition (HTR) の進歩は、現代の写本や歴史文書に顕著な性能を持つモデルを生み出している。 これらのモデルは、言語、紙の支持、インク、著者の筆跡など、独特の特徴を持つ写本に適用した場合、同じパフォーマンスを得るのに苦労している。 本稿では,手書きテキスト生成モデルを用いて得られた,大規模で実際のベンチマークデータセットと合成データセットについて考察する。 我々は,5行の実際の微調整行数で,原稿を効果的に書き起こし可能なHTRモデルを得るための,そのようなデータの最も関連性の高い特徴を定量的に示す。
  論文  参考訳（メタデータ） (2023-05-04T07:00:28Z)
• PART: Pre-trained Authorship Representation Transformer [64.78260098263489]
  文書を書く著者は、語彙、レジストリ、句読点、ミススペル、絵文字の使用など、テキスト内での識別情報をインプリントする。 以前の作品では、手作りのフィーチャや分類タスクを使用して著者モデルをトレーニングし、ドメイン外の著者に対するパフォーマンスの低下につながった。 セマンティクスの代わりにtextbfauthorship の埋め込みを学習するために、対照的に訓練されたモデルを提案する。
  論文  参考訳（メタデータ） (2022-09-30T11:08:39Z)
• Self-Training of Handwritten Word Recognition for Synthetic-to-Real Adaptation [4.111899441919165]
  そこで本研究では,手書きテキスト認識モデルを学習するための自己学習手法を提案する。 提案手法は、合成データに基づいて訓練された初期モデルを用いて、ラベルなしターゲットデータセットの予測を行う。 提案手法は,広範に使用されている4つのベンチマークデータセットに対して評価し,完全に教師された方法で訓練されたモデルとのギャップを埋めることの有効性を示す。
  論文  参考訳（メタデータ） (2022-06-07T09:43:25Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• Lacuna Reconstruction: Self-supervised Pre-training for Low-Resource Historical Document Transcription [25.76860672652937]
  また,スクラッチから訓練した同じ教師付きモデルに対して,30行の画像書き起こしで認識精度を有意に向上させることを示した。 我々のマスク付き言語モデルスタイルの事前学習戦略では、モデルが同じ行内からサンプリングされた邪魔者から真のマスク付き視覚表現を識別できるように訓練され、堅牢な文脈化された言語表現の学習が促進される。
  論文  参考訳（メタデータ） (2021-12-16T08:28:26Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)
• Is BERT a Cross-Disciplinary Knowledge Learner? A Surprising Finding of Pre-trained Models' Transferability [74.11825654535895]
  BERTなどのテキストデータに予め訓練されたモデルのパワーを、一般的なトークンシーケンス分類アプリケーションに転送できるかどうかを検討します。 テキスト以外のデータでも、テキストに事前学習されたモデルはランダムなモデルよりも高速に収束する。
  論文  参考訳（メタデータ） (2021-03-12T09:19:14Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。