論文の概要: Multi-script Handwritten Digit Recognition Using Multi-task Learning
- arxiv url: http://arxiv.org/abs/2106.08267v1
- Date: Tue, 15 Jun 2021 16:30:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-16 18:14:12.116331
- Title: Multi-script Handwritten Digit Recognition Using Multi-task Learning
- Title（参考訳）: マルチタスク学習を用いたマルチスクリプト手書きディジット認識
- Authors: Mesay Samuel Gondere, Lars Schmidt-Thieme, Durga Prasad Sharma,
Randolf Scholz
- Abstract要約: 堅牢で多目的なシステムの開発を促進するマルチスクリプトの桁認識では、あまり一般的ではない。
本研究では,マルチタスク学習を用いた手書き文字認識について検討する。
ラテン文字、アラビア文字、カンナダ文字を含む3文字の手書き桁は、個々のタスクを書き換えたマルチタスクモデルが有望な結果を示していることを示すために研究されている。
- 参考スコア（独自算出の注目度）: 2.8698937226234795
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Handwritten digit recognition is one of the extensively studied area in
machine learning. Apart from the wider research on handwritten digit
recognition on MNIST dataset, there are many other research works on various
script recognition. However, it is not very common for multi-script digit
recognition which encourage the development of robust and multipurpose systems.
Additionally working on multi-script digit recognition enables multi-task
learning, considering the script classification as a related task for instance.
It is evident that multi-task learning improves model performance through
inductive transfer using the information contained in related tasks. Therefore,
in this study multi-script handwritten digit recognition using multi-task
learning will be investigated. As a specific case of demonstrating the solution
to the problem, Amharic handwritten character recognition will also be
experimented. The handwritten digits of three scripts including Latin, Arabic
and Kannada are studied to show that multi-task models with reformulation of
the individual tasks have shown promising results. In this study a novel way of
using the individual tasks predictions was proposed to help classification
performance and regularize the different loss for the purpose of the main task.
This finding has outperformed the baseline and the conventional multi-task
learning models. More importantly, it avoided the need for weighting the
different losses of the tasks, which is one of the challenges in multi-task
learning.
- Abstract（参考訳）: 手書き文字認識は、機械学習において広く研究されている分野の1つである。
MNISTデータセットにおける手書き文字認識に関する広範な研究とは別に、様々なスクリプト認識に関する多くの研究がある。
しかし、堅牢で多目的なシステムの開発を促進するマルチスクリプト桁認識では、あまり一般的ではない。
さらに、例えば、スクリプト分類を関連するタスクとして考慮し、マルチタスク学習を可能にする。
マルチタスク学習は、関連するタスクに含まれる情報を用いて帰納的伝達によってモデル性能を向上させることが明らかである。
そこで本研究では,マルチタスク学習を用いた手書き文字認識について検討する。
この問題に対する解の具体例として、Amharicの手書き文字認識も実験される。
ラテン文字、アラビア語、カンナダ文字を含む3文字の手書き文字を用いて、個々のタスクを再構成したマルチタスクモデルが有望な結果を示していることを示す。
そこで本研究では,個々のタスクの予測手法を考案し,タスクの分類に役立て,タスクの目的に応じて異なる損失を正規化する手法を提案する。
この発見はベースラインと従来のマルチタスク学習モデルより優れている。
さらに重要なのは、タスクのさまざまな損失を重み付けする必要がなくなり、これはマルチタスク学習における課題の1つである。
関連論文リスト
- M3: A Multi-Task Mixed-Objective Learning Framework for Open-Domain Multi-Hop Dense Sentence Retrieval [12.277521531556852]
M3は,高密度テキスト表現学習のためのマルチタスク混合オブジェクトに基づく,新しいマルチホップ高密度文検索システムである。
提案手法は,大規模オープンドメイン事実検証ベンチマークデータセットであるFEVER上での最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-21T01:52:07Z) - Identifying and Analyzing Task-Encoding Tokens in Large Language Models [55.03191279766383]
本稿では,タスク性能が依存するタスク符号化トークンの識別と解析を行う。
テンプレートとストップワードトークンはタスクエンコーディングが最も困難であることを示す。
我々の研究は、大規模言語モデル(LLM)がいかにして、デモからタスクを実行するかを学習し、LLMでプレイされるさまざまな種類のトークンの役割の理解を深め、タスクエンコーディングトークンを不適切な利用から不安定を避けるための洞察を提供する。
論文 参考訳（メタデータ） (2024-01-20T20:55:21Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Pre-training Multi-task Contrastive Learning Models for Scientific
Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。
文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文 参考訳（メタデータ） (2023-05-23T16:47:22Z) - CSSL-MHTR: Continual Self-Supervised Learning for Scalable Multi-script Handwritten Text Recognition [16.987008461171065]
我々は,手書き文字認識における破滅的な忘れの問題を軽減するために,連続的な自己指導型学習の可能性を探究する。
提案手法は,各タスクにアダプタと呼ばれる中間層を追加し,現在のタスクを学習しながら,前モデルからの知識を効率的に抽出する。
私たちは英語、イタリア語、ロシア語のスクリプトで最先端のパフォーマンスを達成しましたが、タスクごとにいくつかのパラメータしか追加していません。
論文 参考訳（メタデータ） (2023-03-16T14:27:45Z) - Is Multi-Task Learning an Upper Bound for Continual Learning? [26.729088618251282]
本稿では,特定のデータ拡張のクラスに対して,各タスクが不変表現を学習することに対応する,連続的な自己指導型学習環境を提案する。
連続学習は、MNIST、CIFAR-10、CIFAR-100など、様々なベンチマークデータセットでマルチタスク学習を上回ることが多い。
論文 参考訳（メタデータ） (2022-10-26T15:45:11Z) - Task Grouping for Multilingual Text Recognition [28.036892501896983]
Gumbel-Softmax を用いたタスクグループ化と代入モジュールを用いた多言語テキスト認識の自動手法を提案する。
MLT19の実験は、全てのタスクを結合し、タスクグループ化/分離のより良い構成を達成する全てのタスクを分離する中間的な基盤が存在するという我々の仮説に証拠を与えている。
論文 参考訳（メタデータ） (2022-10-13T23:54:23Z) - Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。
タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。
これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文 参考訳（メタデータ） (2022-04-16T00:56:12Z) - Improving Multi-task Generalization Ability for Neural Text Matching via
Prompt Learning [54.66399120084227]
最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。
我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。
特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。
一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
論文 参考訳（メタデータ） (2022-04-06T11:01:08Z) - Grad2Task: Improved Few-shot Text Classification Using Gradients for
Task Representation [24.488427641442694]
本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。
私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。
我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
論文 参考訳（メタデータ） (2022-01-27T15:29:30Z) - MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning [82.62433731378455]
特定のスケールで高い親和性を持つタスクは、他のスケールでこの動作を維持することが保証されていないことを示す。
本稿では,この発見に基づく新しいアーキテクチャ MTI-Net を提案する。
論文 参考訳（メタデータ） (2020-01-19T21:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。