論文の概要: NoTeS-Bank: Benchmarking Neural Transcription and Search for Scientific Notes Understanding

• arxiv url: http://arxiv.org/abs/2504.09249v1
• Date: Sat, 12 Apr 2025 15:11:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:55:29.269330
• Title: NoTeS-Bank: Benchmarking Neural Transcription and Search for Scientific Notes Understanding
• Title（参考訳）: NoTeS-Bank: 科学ノート理解のためのニューラルネットワークと検索のベンチマーク
• Authors: Aniket Pal, Sanket Biswas, Alloy Das, Ayush Lodh, Priyanka Banerjee, Soumitri Chattopadhyay, Dimosthenis Karatzas, Josep Llados, C. V. Jawahar,
• Abstract要約: NoTeS-Bankは、ノートベースの質問応答におけるNeural Transcription and Searchの評価ベンチマークである。 NoTeS-Bankは複数のドメインにまたがる複雑なメモで構成され、非構造化およびマルチモーダルなコンテンツを処理するモデルを必要とする。
• 参考スコア（独自算出の注目度）: 27.900506608757492
• License:
• Abstract: Understanding and reasoning over academic handwritten notes remains a challenge in document AI, particularly for mathematical equations, diagrams, and scientific notations. Existing visual question answering (VQA) benchmarks focus on printed or structured handwritten text, limiting generalization to real-world note-taking. To address this, we introduce NoTeS-Bank, an evaluation benchmark for Neural Transcription and Search in note-based question answering. NoTeS-Bank comprises complex notes across multiple domains, requiring models to process unstructured and multimodal content. The benchmark defines two tasks: (1) Evidence-Based VQA, where models retrieve localized answers with bounding-box evidence, and (2) Open-Domain VQA, where models classify the domain before retrieving relevant documents and answers. Unlike classical Document VQA datasets relying on optical character recognition (OCR) and structured data, NoTeS-BANK demands vision-language fusion, retrieval, and multimodal reasoning. We benchmark state-of-the-art Vision-Language Models (VLMs) and retrieval frameworks, exposing structured transcription and reasoning limitations. NoTeS-Bank provides a rigorous evaluation with NDCG@5, MRR, Recall@K, IoU, and ANLS, establishing a new standard for visual document understanding and reasoning.
• Abstract（参考訳）: 学術的な手書きノートに対する理解と推論は、特に数学の方程式、図形、科学的な表記において、ドキュメントAIの課題である。 既存の視覚的質問応答(VQA)ベンチマークは、印刷または構造化された手書きテキストに焦点を当て、一般化を現実のノートテイクに限定する。 そこで我々は,ノートベースの質問応答におけるニューラルネットワークと検索の評価ベンチマークであるNoTeS-Bankを紹介した。 NoTeS-Bankは複数のドメインにまたがる複雑なメモで構成され、非構造化およびマルチモーダルなコンテンツを処理するモデルを必要とする。 ベンチマークでは,(1)証拠ベースVQA,2)バウンディングボックスエビデンスによる局所的回答の検索,2)オープンドメインVQA,の2つのタスクを定義した。 光文字認識(OCR)と構造化データに依存する古典文書VQAデータセットとは異なり、NoTeS-BANKは視覚言語融合、検索、マルチモーダル推論を要求する。 我々は、最先端のビジョン・ランゲージモデル(VLM)と検索フレームワークをベンチマークし、構造化された転写と推論の制限を明らかにする。 NoTeS-Bankは、NDCG@5、MRR、Recall@K、IoU、ANLSで厳格な評価を提供し、ビジュアル文書の理解と推論のための新しい標準を確立している。

関連論文リスト

• Multi-Facet Blending for Faceted Query-by-Example Retrieval [5.156059061769101]
  本稿では,多面体ブレンディング(FaBle)拡張法を提案する。 モジュール化によって、事前に定義されたファセットの知識やラベルが不要になります。 1K文書上のFaBle拡張は、ファセット条件埋め込みの訓練を著しく支援する。
  論文  参考訳（メタデータ） (2024-12-02T12:32:19Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)
• Doc2SoarGraph: Discrete Reasoning over Visually-Rich Table-Text Documents via Semantic-Oriented Hierarchical Graphs [79.0426838808629]
  視覚的にリッチなテーブルテキスト文書に答えるTAT-DQAを提案する。 具体的には、離散推論機能を強化した新しいDoc2SoarGraphフレームワークを提案する。 我々は,TAT-DQAデータセットに関する広範な実験を行い,提案したフレームワークは,テストセット上でのエクサクティマッチ(EM)とF1スコアでそれぞれ17.73%,F1スコアで16.91%の最高のベースラインモデルを上回る結果を得た。
  論文  参考訳（メタデータ） (2023-05-03T07:30:32Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• Detect, Retrieve, Comprehend: A Flexible Framework for Zero-Shot Document-Level Question Answering [6.224211330728391]
  研究者は貴重な技術知識を含む何千もの学術文書を作成した。 文書レベルの質問応答(QA)は、人間の提案する質問を適応して多様な知識を抽出できる柔軟なフレームワークを提供する。 本稿では,PDFからテキストを抽出する3段階の文書QAアプローチ,抽出したテキストからエビデンスを抽出して適切な文脈を形成する方法,文脈から知識を抽出して高品質な回答を返すためのQAを提案する。
  論文  参考訳（メタデータ） (2022-10-04T23:33:52Z)
• Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
  VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。 我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。 我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
  論文  参考訳（メタデータ） (2022-07-25T01:43:19Z)
• Questions Are All You Need to Train a Dense Passage Retriever [123.13872383489172]
  ARTは、ラベル付きトレーニングデータを必要としない高密度検索モデルをトレーニングするための、新しいコーパスレベルのオートエンコーディングアプローチである。 そこで,(1) 入力質問を用いて証拠文書の集合を検索し,(2) 文書を用いて元の質問を再構築する確率を計算する。
  論文  参考訳（メタデータ） (2022-06-21T18:16:31Z)
• Continuous Offline Handwriting Recognition using Deep Learning Models [0.0]
  手書き文字認識は、自動文書画像解析の分野に大きな関心を持つオープンな問題である。 我々は,畳み込みニューラルネットワーク(CNN)とシーケンス・ツー・シーケンス(seq2seq)という,2種類のディープラーニングアーキテクチャの統合に基づく新しい認識モデルを提案する。 提案した新たなモデルでは,他の確立された方法論と競合する結果が得られる。
  論文  参考訳（メタデータ） (2021-12-26T07:31:03Z)
• Structured Multimodal Attentions for TextVQA [57.71060302874151]
  上述の2つの問題を主に解決するために,終端から終端までの構造化マルチモーダルアテンション(SMA)ニューラルネットワークを提案する。 SMAはまず、画像に現れるオブジェクト・オブジェクト・オブジェクト・テキスト・テキストの関係を符号化するために構造グラフ表現を使用し、その後、それを推論するためにマルチモーダルグラフアテンションネットワークを設計する。 提案モデルでは,テキストVQAデータセットとST-VQAデータセットの2つのタスクを事前学習ベースTAP以外のモデルで比較した。
  論文  参考訳（メタデータ） (2020-06-01T07:07:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。