論文の概要: Evaluating In-Context Learning and Retrieval Strategies for Devanagari Post-OCR Correction

• arxiv url: http://arxiv.org/abs/2609.21595v1
• Date: Fri, 18 Sep 2026 10:26:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.022061
• Title: Evaluating In-Context Learning and Retrieval Strategies for Devanagari Post-OCR Correction
• Title（参考訳）: DevanagariポストOCR補正における文脈学習と検索戦略の評価
• Abstract要約: 本稿では,HindiとMarathiにおけるOCR後補正のためのLarge Language Models (LLMs) の最初の体系的評価について述べる。 提案するCharBM25は,OCR入力に対する文字n-gram BM25類似性を用いてサンプルを検索し,テスト文で共有エラーパターンをターゲットとした。 2万文のベンチマークで、CharBM25はヒンディー語で2.8-4.0pp、マラティー語で2.9-3.8ppというドメインランダム選択よりも優れていた。
• 参考スコア（独自算出の注目度）: 2.9350637051367325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning using Large Language Models (LLMs) offers a compelling path to training-free post-OCR correction, yet its effectiveness for Devanagari script remains entirely unexplored. We present the first systematic evaluation of LLMs (3B-32B) for post-OCR correction in Hindi and Marathi, comparing three in-context example retrieval strategies: domain-random selection, dense semantic retrieval, and our proposed CharBM25, which retrieves examples by character n-gram BM25 similarity over OCR inputs to target shared error patterns with the test sentence. Across a 20,000-sentence benchmark spanning five news domains, retrieval strategy is the decisive factor in correction quality: CharBM25 outperforms domain-random selection by 2.8-4.0pp absolute WER on Hindi and 2.9-3.8pp on Marathi, using character trigrams, which consistently outperform bigrams and unigrams. Scale dominates performance: Gemma-3-27B achieves WER reductions of 55.0% for Hindi and 33.3% for Marathi under CharBM25-5. Few-shot gains are capacity-gated: models below 8B do not reliably improve over the OCR baseline, and on Marathi the smallest models (3B) degrade more sentences than they improve. Marathi is persistently harder to correct than Hindi across all scales, reflecting its greater morphological complexity. These findings establish CharBM25 as an effective, GPU-free retrieval strategy that matches or exceeds dense retrieval at negligible computational cost, and show that combining it with a general-purpose LLM of 12B+ parameters delivers reliable, training-free Devanagari post-OCR correction without task-specific fine-tuning. Dataset: https://huggingface.co/datasets/AbhishekBhandari/Devanagari-OCR-ICL-Benchmark
• Abstract（参考訳）: LLM(Large Language Models)を用いたインコンテキスト学習は、トレーニングなしのポストOCR修正に魅力的な道筋を提供するが、Devanagariスクリプトの有効性は完全に解明されていない。 本稿では,Hindi と Marathi における OCR 後修正のための LLMs (3B-32B) の最初の体系的評価を行い,ドメインランダム選択,密接なセマンティック検索,および我々は提案した CharBM25 を用いて,OCR 入力に対する文字 n-gram BM25 の類似性からサンプルを抽出し,テスト文を用いて共有エラーパターンをターゲットとした。 CharBM25はヒンディー語では2.8-4.0pp、マラタイ語では2.9-3.8pp、ビッグラムとユニグラムでは一貫して2.9-3.8ppのドメインランダム選択を上回っている。 Gemma-3-27BはWERの55.0%をヒンディー語で55.0%、マラタイ語で33.3%をCharBM25-5で削減した。 8B以下のモデルはOCRベースラインよりも確実に改善されず、マラシでは、最小の3Bは改善するよりも多くの文を分解する。 マラタイはヒンディー語よりもあらゆるスケールで補正が困難であり、その形態学的複雑さを反映している。 これらの結果から,CharBM25は,高密度検索を無視可能な計算コストで実現または超過する有効なGPUフリー検索戦略として確立し,12B以上のパラメータの汎用LLMと組み合わせることで,タスク固有の微調整を伴わずに,信頼性の高いトレーニング不要なDevanagariポストOCR補正を実現することを示す。 データセット:https://huggingface.co/datasets/AbhishekBhandari/Devanagari-OCR-ICL-Benchmark

関連論文リスト

• Robust Assamese Speech Recognition through Controlled Fine-Tuning of Whisper Models [1.4095958360608893]
  本稿ではMozilla Common Voice 24.0-Assamese corpusで学習したWhisper-based Assamese ASRシステムについて述べる。 ハードウェア対応の最適化トレーニングパイプラインは、リソース制約のある環境向けに実装されている。
  論文  参考訳（メタデータ） (2026-07-19T09:54:52Z)
• Evaluation of Chunking Strategies for Effective Text Embedding in Low-Resource Language on Agricultural Documents [0.0]
  Average Retrieval Score (L2 distance)、Answer Relevance、Khmer Coverage、Khmer Intersection over Unionの4つの指標を用いてパフォーマンスを評価する。 我々は,300文字のチャンクサイズを持つ文字ベースの再帰的チャンク法において,最適な性能を示す。
  論文  参考訳（メタデータ） (2026-05-21T09:06:13Z)
• Benchmarking Parameter-Efficient Fine-Tuning of Large Language Models for Low-Resource Tajik Text Generation with the Tajik Web Corpus [0.0]
  著者は、タジク最大のオープンアクセスコーパスであるタジクウェブコーパスを作成、公開し、319,298の文書(111億文字)を作成した。 17のコンフィギュレーションがベンチマークされ、自動回帰、エンコーダデコーダ、エンコーダのみのモデルで、完全な微調整、LoRA、QLoRAの3つの戦略が実施された。 小型の GPT-2 ファミリーモデルでは、完全な微調整は LoRA (7.60-8.42) よりも低いパープレキシティ (3.48) を得たが、破滅的な忘れを招いた。
  論文  参考訳（メタデータ） (2026-05-05T13:28:31Z)
• Hierarchical Policy Optimization for Simultaneous Translation of Unbounded Speech [50.45710815530982]
  同時音声翻訳(SST)は、部分的な音声入力を受けながら翻訳を生成する。 近年の進歩により、大規模言語モデル(LLM)はSSTの品質を大幅に向上するが、高い計算オーバーヘッドのコストがかかる。 本稿では,不完全なSFTデータに基づいて列車後モデルを訓練する階層的ポリシー最適化(HPO)手法を提案する。 英語と中国語/ドイツ語/日本語の実験では、+7 COMETスコアと+1.25 MetricXスコアが1.5秒で改善された。
  論文  参考訳（メタデータ） (2026-04-22T19:43:51Z)
• Parameter-Efficient Fine-Tuning for Low-Resource Languages: A Comparative Study of LLMs for Bengali Hate Speech Detection [0.0]
  本稿では,LoRAとQLoRAを用いたベンガルヘイトスピーチ検出におけるPEFT(Efficient Fine-Tuning)の最初の応用について述べる。 BD-SHSデータセットには50,281の注釈付きコメントが記載されている。 Llama-3.2-3Bは92.23%、Mistral-7Bは88.94%、Gemma-3-4Bは80.25%だった。
  論文  参考訳（メタデータ） (2025-10-19T20:03:22Z)
• Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval [49.1574468325115]
  トレーニング済みのAmharic BERTとRoBERTaのバックボーンをベースとした,Amharic固有の高密度検索モデルを提案する。 提案したRoBERTa-Base-Amharic-Embedモデル(110Mパラメータ)は,MRR@10の相対的な改善を17.6%達成する。 RoBERTa-Medium-Amharic-Embed (42M)のようなよりコンパクトな派生型は13倍以上小さいまま競争力を維持している。
  論文  参考訳（メタデータ） (2025-05-25T23:06:20Z)
• Refining Corpora from a Model Calibration Perspective for Chinese Spelling Correction [40.11364098789309]
  チャイニーズ・スペルリング・コーパス(CSC)は通常、大規模な高品質コーパスを欠いている。 2つのデータ拡張手法が広く採用されている: (1) 混乱セットのガイダンス付きtextitRandom Replacement と (2) 文字誤用をシミュレートする textitOCR/ASR ベースジェネレーション。
  論文  参考訳（メタデータ） (2024-07-22T09:26:35Z)
• Text Classification via Large Language Models [63.1874290788797]
  テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。 注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。 さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
  論文  参考訳（メタデータ） (2023-05-15T06:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。