論文の概要: MMHMER:Multi-viewer and Multi-task for Handwritten Mathematical Expression Recognition

• arxiv url: http://arxiv.org/abs/2502.05557v1
• Date: Sat, 08 Feb 2025 13:03:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:32:11.805630
• Title: MMHMER:Multi-viewer and Multi-task for Handwritten Mathematical Expression Recognition
• Title（参考訳）: MMHMER:手書き数式認識のためのマルチビューアとマルチタスク
• Authors: Kehua Chen, Haoyang Shen, Lifan Zhong, Mingyi Chen,
• Abstract要約: 本稿では,CNNとTransformerの強みを効果的に統合できるマルチビューマルチタスクフレームワークを提案する。 我々のモデルは手書きの数学的表現の複雑さをうまく扱える。
• 参考スコア（独自算出の注目度）: 0.6694605027794318
• License:
• Abstract: Handwritten Mathematical Expression Recognition (HMER) methods have made remarkable progress, with most existing HMER approaches based on either a hybrid CNN/RNN-based with GRU architecture or Transformer architectures. Each of these has its strengths and weaknesses. Leveraging different model structures as viewers and effectively integrating their diverse capabilities presents an intriguing avenue for exploration. This involves addressing two key challenges: 1) How to fuse these two methods effectively, and 2) How to achieve higher performance under an appropriate level of complexity. This paper proposes an efficient CNN-Transformer multi-viewer, multi-task approach to enhance the model's recognition performance. Our MMHMER model achieves 63.96%, 62.51%, and 65.46% ExpRate on CROHME14, CROHME16, and CROHME19, outperforming Posformer with an absolute gain of 1.28%, 1.48%, and 0.58%. The main contribution of our approach is that we propose a new multi-view, multi-task framework that can effectively integrate the strengths of CNN and Transformer. By leveraging the feature extraction capabilities of CNN and the sequence modeling capabilities of Transformer, our model can better handle the complexity of handwritten mathematical expressions.
• Abstract（参考訳）: 手書きの数学的表現認識(HMER)手法は、GRUアーキテクチャとトランスフォーマーアーキテクチャを併用したハイブリッドCNN/RNNに基づく既存のHMER手法により、目覚ましい進歩を遂げている。 それぞれに長所と短所がある。 異なるモデル構造をビューアとして活用し、それらの多様な機能を効果的に統合することは、探索の興味深い道のりを示す。 これには2つの重要な課題に対処する。 1) この2つの方法を効果的に融合する方法、及び 2) 適切なレベルの複雑さの下でハイパフォーマンスを実現する方法。 本稿では,CNN-Transformerマルチビューア,マルチタスクによるモデル認識性能向上手法を提案する。 我々のMMHMERモデルは, CROHME14, CROHME16, CROHME19で63.96%, 62.51%, 65.46%のExpRateを達成した。 提案手法の主な貢献は,CNN と Transformer の強みを効果的に統合できるマルチビュー・マルチタスク・フレームワークを提案することである。 CNNの特徴抽出機能とTransformerのシーケンスモデリング機能を活用することで、手書きの数学的表現の複雑さをよりうまく処理できる。

関連論文リスト

• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Multimodal Information Interaction for Medical Image Segmentation [24.024848382458767]
  革新的マルチモーダル情報クロストランス(MicFormer)について紹介する。 あるモダリティから特徴を問合せし、対応する応答を別のモダリティから取り出し、バイモーダル特徴間の効果的なコミュニケーションを容易にする。 他のマルチモーダルセグメンテーション手法と比較して,本手法はそれぞれ2.83と4.23のマージンで優れていた。
  論文  参考訳（メタデータ） (2024-04-25T07:21:14Z)
• SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation [61.392147185793476]
  統一的で汎用的な基礎モデル、すなわちSEED-Xを提案する。 SEED-Xは、理解および生成タスクのための多粒度視覚意味論をモデル化することができる。 我々の研究が、現実世界のアプリケーションで多目的なマルチモーダル基盤モデルによって達成できるものについて、将来の研究に刺激を与えることを期待しています。
  論文  参考訳（メタデータ） (2024-04-22T17:56:09Z)
• Noise-powered Multi-modal Knowledge Graph Representation Framework [52.95468915728721]
  マルチモーダル・プレトレーニングの台頭は、統合されたマルチモーダル知識グラフ表現学習フレームワークの必要性を強調している。 モードレベルのノイズマスキングを備えたトランスフォーマーアーキテクチャを用いた新しいSNAG手法を提案する。 提案手法は10個のデータセットにまたがってSOTA性能を実現し,その汎用性を実証する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:43Z)
• Heterogeneous Generative Knowledge Distillation with Masked Image Modeling [33.95780732124864]
  Masked Image Modeling (MIM) 法は様々な視覚的タスクにおいて大きな成功を収めるが、ヘテロジニアス深層モデルに対する知識蒸留では未解明のままである。 我々は,MIMに基づくH-GKD (Heterogeneous Generative Knowledge Distillation) を開発した。 本手法は,異種教師モデルからデータの視覚的表現と分布を学習するための,シンプルで効果的な学習パラダイムである。
  論文  参考訳（メタデータ） (2023-09-18T08:30:55Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)
• HyperTransformer: Model Generation for Supervised and Semi-Supervised Few-Shot Learning [14.412066456583917]
  本稿では,支援サンプルから直接畳み込みニューラルネットワーク(CNN)の重みを生成する,少数ショット学習のためのトランスフォーマーベースモデルを提案する。 本手法は,タスク非依存の定型埋め込みの学習が最適でない小ターゲットCNNアーキテクチャにおいて,特に有効である。 提案手法は,サポートセット内のラベルなしサンプルを利用した半教師付きシステムに拡張され,さらにショット性能が向上する。
  論文  参考訳（メタデータ） (2022-01-11T20:15:35Z)
• MVFNet: Multi-View Fusion Network for Efficient Video Recognition [79.92736306354576]
  分離可能な畳み込みを効率よく利用し,ビデオの複雑さを生かしたマルチビュー融合(MVF)モジュールを提案する。 MVFNetは一般的なビデオモデリングフレームワークと考えることができる。
  論文  参考訳（メタデータ） (2020-12-13T06:34:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。