論文の概要: Automated LaTeX Code Generation from Handwritten Math Expressions Using Vision Transformer

• arxiv url: http://arxiv.org/abs/2412.03853v1
• Date: Thu, 05 Dec 2024 03:58:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 20:43:01.87781
• Title: Automated LaTeX Code Generation from Handwritten Math Expressions Using Vision Transformer
• Title（参考訳）: 視覚変換器を用いた手書き式からのLaTeXコードの自動生成
• Authors: Jayaprakash Sundararaj, Akhil Vyas, Benjamin Gonzalez-Maldonado,
• Abstract要約: 本稿では,手書き/デジタルの数学的表現画像を等価コードに変換するために,より新しいトランスフォーマーベースのアーキテクチャを提案する。 我々はCNNエンコーダとRNNデコーダの現状を,実験のベースラインとして利用している。 実験の結果, トランスフォーマーアーキテクチャは, CNN/RNNアーキテクチャと比較すると, BLEUスコアとLevenschteinスコアとが一致し, 全体的な精度が向上することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Converting mathematical expressions into LaTeX is challenging. In this paper, we explore using newer transformer based architectures for addressing the problem of converting handwritten/digital mathematical expression images into equivalent LaTeX code. We use the current state of the art CNN encoder and RNN decoder as a baseline for our experiments. We also investigate improvements to CNN-RNN architecture by replacing the CNN encoder with the ResNet50 model. Our experiments show that transformer architectures achieve a higher overall accuracy and BLEU scores along with lower Levenschtein scores compared to the baseline CNN/RNN architecture with room to achieve even better results with appropriate fine-tuning of model parameters.
• Abstract（参考訳）: 数式をLaTeXに変換することは難しい。 本稿では,手書き/デジタルの数学的表現画像を等価なLaTeXコードに変換する問題に,より新しいトランスフォーマーベースのアーキテクチャを用いて対処する。 我々は現在最先端のCNNエンコーダとRNNデコーダを実験のベースラインとして使用しています。 また、CNNエンコーダをResNet50モデルに置き換えることで、CNN-RNNアーキテクチャの改善についても検討する。 実験により, モデルパラメータを適切に微調整した上で, より優れた結果を得る余地のあるベースラインCNN/RNNアーキテクチャと比較して, BLEUスコアと低いLevenschteinスコアとを併用して, トランスフォーマーアーキテクチャの総合的精度が向上し, BLEUスコアが向上することが確認された。

関連論文リスト

• Video Prediction Transformers without Recurrence or Convolution [65.93130697098658]
  我々は、Gated Transformerを完全にベースとしたフレームワークであるPredFormerを提案する。 本稿では,映像予測の文脈における3次元注意の包括的分析を行う。 精度と効率の両面で大きな改善は、PredFormerの可能性を強調している。
  論文  参考訳（メタデータ） (2024-10-07T03:52:06Z)
• TeXBLEU: Automatic Metric for Evaluate LaTeX Format [4.337656290539519]
  我々は,n-gram-based BLEU で構築した形式を用いて,数式評価のための指標 BLEU を提案する。 提案したBLEUは、arXiv紙のデータセットに基づいて訓練されたトークン化器と、位置エンコーディングによる微調整された埋め込みモデルから構成される。
  論文  参考訳（メタデータ） (2024-09-10T16:54:32Z)
• Image-to-LaTeX Converter for Mathematical Formulas and Text [0.0]
  我々は,Swin TransformerエンコーダとGPT-2デコーダを備えたベースモデルと,手書き公式で訓練されたローランド適応(LoRA)で強化された微調整バージョンとを2つのモデルで構築する。 次に、特殊モデルのBLEU性能を、Pix2Text、TexTeller、Sumenといった他の類似モデルと手書きテストセットで比較する。
  論文  参考訳（メタデータ） (2024-08-07T18:04:01Z)
• Combined CNN and ViT features off-the-shelf: Another astounding baseline for recognition [49.14350399025926]
  本稿では,ImageNet Large Scale Visual Recognition Challengeのために開発された事前学習型アーキテクチャを,近視認識に適用する。 CNNとViTの中間層の特徴は、近視画像に基づいて個人を認識するのに適した方法である。
  論文  参考訳（メタデータ） (2024-07-28T11:52:36Z)
• MathNet: A Data-Centric Approach for Printed Mathematical Expression Recognition [2.325171167252542]
  ベンチマークデータセットim2latex-100kの改良版を提示し,30フォントを特徴とする。 第2に,論文からMEを抽出した実世界のデータセット realFormula を紹介する。 第3に、畳み込み視覚変換器をベースとしたMERモデルMathNetを開発し、4つのテストセットすべてにおいて優れた結果を得た。
  論文  参考訳（メタデータ） (2024-04-21T14:03:34Z)
• Self-Supervised Pre-Training for Table Structure Recognition Transformer [25.04573593082671]
  テーブル構造認識変換器のための自己教師付き事前学習(SSP)手法を提案する。 線形射影変換器とハイブリッドCNN変換器のパフォーマンスギャップは、TSRモデルにおける視覚エンコーダのSSPにより緩和できる。
  論文  参考訳（メタデータ） (2024-02-23T19:34:06Z)
• Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
  部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。 セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
  論文  参考訳（メタデータ） (2024-01-19T15:19:47Z)
• Enhancing Diffusion Models with Text-Encoder Reinforcement Learning [63.41513909279474]
  テキストから画像への拡散モデルは通常、ログのような目的を最適化するために訓練される。 近年の研究では、強化学習や直接バックプロパゲーションを通じて人間の報酬を用いて拡散U-Netを精製することでこの問題に対処している。 我々は、強化学習によってテキストエンコーダを微調整することにより、結果のテキストイメージアライメントを強化することができることを示した。
  論文  参考訳（メタデータ） (2023-11-27T09:39:45Z)
• High-Performance Transformers for Table Structure Recognition Need Early Convolutions [25.04573593082671]
  既存のアプローチでは、ビジュアルエンコーダには古典的畳み込みニューラルネットワーク(CNN)、テキストデコーダにはトランスフォーマーが使用されている。 表現力を犠牲にすることなくテーブル構造認識(TSR)のための軽量ビジュアルエンコーダを設計する。 畳み込みステムは従来のCNNバックボーンのパフォーマンスとより単純なモデルで一致できることが判明した。
  論文  参考訳（メタデータ） (2023-11-09T18:20:52Z)
• Unifying Two-Stream Encoders with Transformers for Cross-Modal Retrieval [68.61855682218298]
  クロスモーダル検索法では、画像とテキストの異なるアーキテクチャを持つ2ストリームエンコーダを用いる。 視覚タスクにおけるトランスフォーマーの最近の進歩に触発されて,トランスフォーマーとエンコーダアーキテクチャを両モードで統一することを提案する。 我々は、画像変換器、テキスト変換器、階層アライメントモジュールからなる2ストリーム変換器(textbfHierarchical Alignment Transformers, HAT)を純粋にベースとしたクロスモーダル検索フレームワークを設計する。
  論文  参考訳（メタデータ） (2023-08-08T15:43:59Z)
• T-former: An Efficient Transformer for Image Inpainting [50.43302925662507]
  トランスフォーマーと呼ばれる注目に基づくネットワークアーキテクチャのクラスは、自然言語処理の分野で大きなパフォーマンスを示している。 本稿では,Taylorの展開に応じて,解像度に線形に関連付けられた新たな注意を設計し,この注意に基づいて,画像インペイントのためのネットワークである$T$-formerを設計する。 いくつかのベンチマークデータセットの実験により,提案手法は比較的少ないパラメータ数と計算複雑性を維持しつつ,最先端の精度を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-05-12T04:10:42Z)
• Comparative study of Transformer and LSTM Network with attention mechanism on Image Captioning [0.0]
  本研究ではTransformerとLSTMをMS-COCOデータセットのアテンションブロックモデルと比較する。 注目ブロックモデルを用いたトランスフォーマーとLSTMについて,その精度について検討した。
  論文  参考訳（メタデータ） (2023-03-05T11:45:53Z)
• Image Captioning In the Transformer Age [71.06437715212911]
  Image Captioning (IC)は、CNN-RNNエンコーダ・デコーダアーキテクチャに様々な技術を統合することで驚くべき発展を遂げた。 本稿では,ICと一般的な自己教師型学習パラダイムの関連性について分析する。
  論文  参考訳（メタデータ） (2022-04-15T08:13:39Z)
• End-to-End Transformer Based Model for Image Captioning [1.4303104706989949]
  Transformerベースのモデルはイメージキャプションをひとつのステージに統合し、エンドツーエンドのトレーニングを実現する。 モデルは138.2%(シングルモデル)と141.0%(4モデルのアンサンブル)の新しい最先端性能を達成する
  論文  参考訳（メタデータ） (2022-03-29T08:47:46Z)
• Handwritten Mathematical Expression Recognition with Bidirectionally Trained Transformer [2.952085248753861]
  トランスデコーダデコーダを使用してRNNベースのデコーダを置き換える。 実験により, CROHME 2014における現在の最先端手法のExpRateを2.23%改善した。
  論文  参考訳（メタデータ） (2021-05-06T03:11:54Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• Exploring Deep Hybrid Tensor-to-Vector Network Architectures for Regression Based Speech Enhancement [53.47564132861866]
  我々は、CNN-TTというハイブリッドアーキテクチャが、モデルパラメータを小さくして高品質な性能を維持することができることを見出した。 CNN-TTは、音声品質を改善するために、特徴抽出のために下部に複数の畳み込み層で構成されている。
  論文  参考訳（メタデータ） (2020-07-25T22:21:05Z)
• Hyperparameter Analysis for Image Captioning [0.0]
  我々は,CNN+LSTMとCNN+Transformerの2つのアーキテクチャを用いて,最先端画像キャプション手法の詳細な感度解析を行う。 実験で最大の利点は、CNNエンコーダの微調整がベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2020-06-19T01:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。