論文の概要: Semantic Graph Representation Learning for Handwritten Mathematical Expression Recognition

• arxiv url: http://arxiv.org/abs/2308.10493v1
• Date: Mon, 21 Aug 2023 06:23:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 15:00:01.037325
• Title: Semantic Graph Representation Learning for Handwritten Mathematical Expression Recognition
• Title（参考訳）: 手書き数式認識のための意味グラフ表現学習
• Authors: Zhuang Liu and Ye Yuan and Zhilong Ji and Jingfeng Bai and Xiang Bai
• Abstract要約: セマンティック・インタラクション・ラーニング(SIL)の簡易かつ効率的な手法を提案する。 まず,統計的シンボル共起確率に基づく意味グラフを構築する。 次に、視覚的および分類的特徴を意味空間に投影する意味認識モジュール(SAM)を設計する。 本手法は, CROHMEとHME100Kの両方のデータセットにおいて, 先行技術よりも優れた認識性能を実現する。
• 参考スコア（独自算出の注目度）: 57.60390958736775
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Handwritten mathematical expression recognition (HMER) has attracted extensive attention recently. However, current methods cannot explicitly study the interactions between different symbols, which may fail when faced similar symbols. To alleviate this issue, we propose a simple but efficient method to enhance semantic interaction learning (SIL). Specifically, we firstly construct a semantic graph based on the statistical symbol co-occurrence probabilities. Then we design a semantic aware module (SAM), which projects the visual and classification feature into semantic space. The cosine distance between different projected vectors indicates the correlation between symbols. And jointly optimizing HMER and SIL can explicitly enhances the model's understanding of symbol relationships. In addition, SAM can be easily plugged into existing attention-based models for HMER and consistently bring improvement. Extensive experiments on public benchmark datasets demonstrate that our proposed module can effectively enhance the recognition performance. Our method achieves better recognition performance than prior arts on both CROHME and HME100K datasets.
• Abstract（参考訳）: 近年,手書き数式認識(hmer)が注目されている。 しかし、現在の方法では異なるシンボル間の相互作用を明示的に研究することはできない。 この問題を軽減するために,セマンティックインタラクション学習(SIL)の簡易かつ効率的な手法を提案する。 具体的には,まず統計的記号共起確率に基づく意味グラフを構築する。 次に、視覚的および分類的特徴を意味空間に投影する意味認識モジュール(SAM)を設計する。 異なる射影ベクトル間のコサイン距離は、シンボル間の相関を示す。 また,HMERとSILを協調的に最適化することで,シンボル関係の理解を深めることができる。 加えて、SAMはHMERの既存の注意ベースのモデルに簡単にプラグインでき、一貫して改善をもたらすことができる。 公開ベンチマークデータセットの大規模な実験により,提案モジュールは認識性能を効果的に向上できることが示された。 この手法はcrohmeおよびhme100kデータセットの先行技術よりも優れた認識性能を実現する。

関連論文リスト

• Semantic-aware Representation Learning for Homography Estimation [28.70450397793246]
  本研究では,検出不要な特徴マッチング手法であるSRMatcherを提案する。 マッチングペアにおける意味的不整合に起因するエラーを減らすことで、提案したSRMatcherはより正確で現実的な結果をもたらすことができる。
  論文  参考訳（メタデータ） (2024-07-18T08:36:28Z)
• Dual Relation Mining Network for Zero-Shot Learning [48.89161627050706]
  本稿では,効果的な視覚・意味的相互作用を実現し,知識伝達のための属性間の意味的関係を学習するためのDual Relation Mining Network(DRMN)を提案する。 具体的には,多層的特徴融合により視覚情報を強化する視覚・意味的関係マイニングのためのデュアルアテンションブロック(DAB)を提案する。 セマンティック・インタラクション・トランスフォーマ(SIT)を用いて画像間の属性表現の一般化を促進する。
  論文  参考訳（メタデータ） (2024-05-06T16:31:19Z)
• Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
  AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
  論文  参考訳（メタデータ） (2024-03-02T10:03:21Z)
• Improving Deep Representation Learning via Auxiliary Learnable Target Coding [69.79343510578877]
  本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。 具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
  論文  参考訳（メタデータ） (2023-05-30T01:38:54Z)
• Cross-modal Representation Learning for Zero-shot Action Recognition [67.57406812235767]
  我々は、ゼロショット動作認識(ZSAR)のためのビデオデータとテキストラベルを共同で符号化するクロスモーダルトランスフォーマーベースのフレームワークを提案する。 我々のモデルは概念的に新しいパイプラインを使用し、視覚的表現と視覚的意味的関連をエンドツーエンドで学習する。 実験結果から,本モデルはZSARの芸術的状況に大きく改善され,UCF101,HMDB51,ActivityNetベンチマークデータセット上でトップ1の精度が向上した。
  論文  参考訳（メタデータ） (2022-05-03T17:39:27Z)
• Learning with Holographic Reduced Representations [28.462635977110413]
  Holographic Reduced Representations (HRR)は、実数値ベクトル上でシンボリックAIを実行する方法である。 本稿では,ハイブリッド型ニューラルシンボリック・アプローチが学習に有効かどうかを理解するために,このアプローチを再考する。
  論文  参考訳（メタデータ） (2021-09-05T19:37:34Z)
• Imposing Relation Structure in Language-Model Embeddings Using Contrastive Learning [30.00047118880045]
  グラフ構造における関係をエンコードするために文埋め込みを訓練する新しいコントラスト学習フレームワークを提案する。 結果として得られた関係認識文の埋め込みは、関係抽出タスクにおける最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-09-02T10:58:27Z)
• Joint Graph Learning and Matching for Semantic Feature Correspondence [69.71998282148762]
  本稿では,グラフマッチングを向上するための信頼度の高いグラフ構造を探索するために,GLAMという共用電子グラフ学習とマッチングネットワークを提案する。 提案手法は,3つの人気ビジュアルマッチングベンチマーク (Pascal VOC, Willow Object, SPair-71k) で評価される。 すべてのベンチマークにおいて、従来の最先端のグラフマッチング手法よりも大きなマージンを達成している。
  論文  参考訳（メタデータ） (2021-09-01T08:24:02Z)
• Facial Action Unit Intensity Estimation via Semantic Correspondence Learning with Dynamic Graph Convolution [27.48620879003556]
  本稿では,特徴マップ間の意味的対応を確立することによって,AUの潜伏関係を自動的に学習する学習フレームワークを提案する。 熱マップ回帰に基づくネットワークでは、特徴写像はAU強度と位置に関連する豊富な意味情報を保存する。 これはAU強度レベルの共起関係を暗黙的に表す特徴チャネル間の相関をモデル化する動機となっている。
  論文  参考訳（メタデータ） (2020-04-20T23:55:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。