論文の概要: MRN: Multiplexed Routing Network for Incremental Multilingual Text Recognition

• arxiv url: http://arxiv.org/abs/2305.14758v3
• Date: Sun, 30 Jul 2023 07:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 21:01:29.740430
• Title: MRN: Multiplexed Routing Network for Incremental Multilingual Text Recognition
• Title（参考訳）: MRN:増分多言語テキスト認識のための多重ルーティングネットワーク
• Authors: Tianlun Zheng, Zhineng Chen, BingChen Huang, Wei Zhang and Yu-Gang Jiang
• Abstract要約: 多重ルーティングネットワーク(MRN)は、現在見られる言語ごとに認識器を訓練する。 MRNは、古いデータへの依存を効果的に減らし、破滅的な忘れ物との戦いを改善する。 既存の汎用IL法よりも大きなマージンで優れている。
• 参考スコア（独自算出の注目度）: 56.408324994409405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual text recognition (MLTR) systems typically focus on a fixed set of languages, which makes it difficult to handle newly added languages or adapt to ever-changing data distribution. In this paper, we propose the Incremental MLTR (IMLTR) task in the context of incremental learning (IL), where different languages are introduced in batches. IMLTR is particularly challenging due to rehearsal-imbalance, which refers to the uneven distribution of sample characters in the rehearsal set, used to retain a small amount of old data as past memories. To address this issue, we propose a Multiplexed Routing Network (MRN). MRN trains a recognizer for each language that is currently seen. Subsequently, a language domain predictor is learned based on the rehearsal set to weigh the recognizers. Since the recognizers are derived from the original data, MRN effectively reduces the reliance on older data and better fights against catastrophic forgetting, the core issue in IL. We extensively evaluate MRN on MLT17 and MLT19 datasets. It outperforms existing general-purpose IL methods by large margins, with average accuracy improvements ranging from 10.3% to 35.8% under different settings. Code is available at https://github.com/simplify23/MRN.
• Abstract（参考訳）: 多言語テキスト認識(mltr)システムは、一般的に固定された言語群にフォーカスしており、新しく追加された言語を扱うか、常に変化するデータ分布に適応するのが困難である。 本稿では,バッチで異なる言語を導入するインクリメンタル学習(il)の文脈において,インクリメンタルmltr(imltr)タスクを提案する。 IMLTRは、リハーサルセット内のサンプル文字の不均一な分布を指し、過去の記憶として少量の古いデータを保持するために使用されるリハーサル不均衡のため、特に困難である。 この問題に対処するため,Multiplexed Routing Network (MRN)を提案する。 MRNは現在見られる言語ごとに認識器を訓練する。 その後、認識器を重み付けするリハーサルセットに基づいて言語領域予測器が学習される。 認識器は元のデータから派生しているため、MRNは古いデータへの依存を効果的に減らし、破滅的な忘れ物との戦いを改善する。 MLT17 と MLT19 のデータセット上で MRN を広範囲に評価した。 これは既存の汎用ilメソッドを大きなマージンで上回り、異なる設定で平均精度が10.3%から35.8%に向上した。 コードはhttps://github.com/simplify23/MRNで入手できる。

関連論文リスト

• Integrating Multi-scale Contextualized Information for Byte-based Neural Machine Translation [14.826948179996695]
  サブワードトークン化はニューラル機械翻訳(NMT)モデルにおける語彙構築の一般的な方法である。 隠れ状態次元の異なる様々なスケールの文脈情報を学習するマルチスケールコンテキスト化(MSC)手法を提案する。 実験により、MSCはサブワードベースおよび他のバイトベースの手法を多言語およびドメイン外のシナリオで大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2024-05-29T17:19:04Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• Boosting Zero-shot Cross-lingual Retrieval by Training on Artificially Code-Switched Data [26.38449396649045]
  問合せや文書が言語によって異なる場合,ゼロショットローダの有効性は低下する。 そこで我々は,人工的なコード切替データに基づいてランキングモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2023-05-09T09:32:19Z)
• Memory Augmented Lookup Dictionary based Language Modeling for Automatic Speech Recognition [20.926163659469587]
  LMのための新しいメモリ拡張ルックアップ辞書に基づくトランスフォーマーアーキテクチャを提案する。 新しく導入されたルックアップ辞書は、トレーニングセットにリッチなコンテキスト情報を組み込んでおり、ロングテールトークンを正確に予測するのに不可欠である。 提案手法は,ワード/文字誤り率とテールトークン誤り率の両方に大きな差で,ベースライントランスフォーマーLMより優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-30T22:26:57Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• Low-Resource Spoken Language Identification Using Self-Attentive Pooling and Deep 1D Time-Channel Separable Convolutions [0.0]
  本稿では,言語識別タスクの低リソース設定において,自己認識型プーリング層を用いた畳み込みニューラルネットワークが有望な結果を示すことを示す。 また、性別、年齢などの他の分類要素が良好に評価されるようにデータセットが十分に多様である場合、LIDシステムの混乱行列が言語類似度測定を担っているという仮説を定式化する。
  論文  参考訳（メタデータ） (2021-05-31T18:35:27Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。