論文の概要: Vision-Braille: An End-to-End Tool for Chinese Braille Image-to-Text Translation

• arxiv url: http://arxiv.org/abs/2407.06048v1
• Date: Mon, 8 Jul 2024 15:51:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 15:10:58.503845
• Title: Vision-Braille: An End-to-End Tool for Chinese Braille Image-to-Text Translation
• Title（参考訳）: Vision-Braille:中国の点字画像翻訳ツール
• Authors: Alan Wu, Ye Yuan, Ming Zhang,
• Abstract要約: 視覚障害者は、読み書きに点字しか使えない大規模なグループである。 点字作家はしばしば音色を省略して空間を節約し、同じ子音と母音の点字が中国語に翻訳されると混乱する。 このプロジェクトは、初めて公開された点字翻訳システムである。
• 参考スコア（独自算出の注目度）: 12.027431535689717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visually impaired people are a large group who can only use braille for reading and writing. However, the lack of special educational resources is the bottleneck for educating them. Educational equity is a reflection of the level of social civilization, cultural equality, and individual dignity. Facilitating and improving lifelong learning channels for the visually impaired is of great significance. Their written braille homework or exam papers cannot be understood by sighted teachers, because of the lack of a highly accurate braille translation system, especially in Chinese which has tone marks. braille writers often omit tone marks to save space, leading to confusion when braille with the same consonants and vowels is translated into Chinese. Previous algorithms were insufficient in extracting contextual information, resulting in low accuracy of braille translations into Chinese. This project informatively fine-tuned the mT5 model with an Encoder-decoder architecture for braille to Chinese character conversion. This research created a training set of braille and corresponding Chinese text from the Leipzig Corpora. This project significantly reduced the confusion in braille, achieving $62.4$ and $62.3$ BLEU scores in the validation and test sets, with a curriculum learning fine-tuning method. By incorporating the braille recognition algorithm, this project is the first publicly available braille translation system and can benefit lots of visually impaired students and families who are preparing for the Chinese College Test and help to propel their college dreams in the future. There is a demo on our homepage\footnote{\url{https://vision-braille.com/}}.
• Abstract（参考訳）: 視覚障害者は、読み書きに点字しか使えない大規模なグループである。 しかし、特別な教育資源が欠如していることが教育のボトルネックとなっている。 教育的平等は、社会文明、文化的平等、個人の尊厳のレベルを反映している。 視覚障害者のための生涯学習チャネルの実現と改善は極めて重要である。 彼らの筆記された点字の宿題や試験論文は、高度に正確な点字翻訳システムがないため、見知らぬ教師には理解できない。 点字作家はしばしば音色を省略して空間を節約し、同じ子音と母音の点字が中国語に翻訳されると混乱する。 それまでのアルゴリズムは文脈情報を抽出するには不十分であり、結果として中国語への点字翻訳の精度は低かった。 このプロジェクトは、点字から漢字への変換のためのエンコーダデコーダアーキテクチャを用いて、mT5モデルを情報的に微調整した。 この研究はライプツィヒ・コーポラから点字と対応する漢文の訓練セットを作成した。 このプロジェクトは点字の混乱を著しく減らし、62.4$と62.3$のBLEUスコアを検証とテストセットで達成し、カリキュラムの微調整法を習得した。 点字認識アルゴリズムを取り入れたこのプロジェクトは、初めて公開された点字翻訳システムであり、中国大学試験の準備中である視覚障害のある多くの学生や家族に恩恵を与え、将来の大学の夢を広める手助けをする。 私たちのホームページにデモがあります。

関連論文リスト

• Skeleton and Font Generation Network for Zero-shot Chinese Character Generation [53.08596064763731]
  そこで我々は,より堅牢な漢字フォント生成を実現するために,新しいSkeleton and Font Generation Network (SFGN)を提案する。 ミススペル文字について実験を行い、その大部分は共通文字とわずかに異なる。 提案手法は、生成した画像の有効性を視覚的に実証し、現在最先端のフォント生成方法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-14T12:15:49Z)
• Signs as Tokens: An Autoregressive Multilingual Sign Language Generator [55.94334001112357]
  テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。 我々は,手話とLMを整合させるために,連続する記号を様々な身体部分を表すトークン列に識別する切り離されたトークン化器を開発した。 これらのサイントークンは、LMの生のテキスト語彙に統合され、手話データセットの教師付き微調整を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T18:28:09Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Cross-modality Data Augmentation for End-to-End Sign Language Translation [66.46877279084083]
  エンドツーエンド手話翻訳(SLT)は、手話動画を中間表現なしで直接音声言語テキストに変換することを目的としている。 署名ビデオとテキスト間のモダリティのギャップとラベル付きデータの不足のため、これは難しい課題だった。 本稿では,強力な光沢からテキストへの翻訳機能をエンドツーエンドの手話翻訳に変換するための,新しいクロスモダリティデータ拡張(XmDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:34:18Z)
• A Model for Translation of Text from Indian Languages to Bharti Braille Characters [0.0]
  インドの主要言語のテキストをBharti Brailleスクリプトに変換するスキームを提案する。 このシステムは、まず、インド語のテキストをルールベースシステムに付与するハイブリッドアプローチを用いており、曖昧さがある場合、LSTMベースのモデルを適用することで解決する。
  論文  参考訳（メタデータ） (2023-05-05T09:21:13Z)
• Don't Forget Cheap Training Signals Before Building Unsupervised Bilingual Word Embeddings [64.06041300946517]
  我々は、教師なしBWE手法を開発する際には、容易にアクセスできる言語間信号が常に考慮されるべきであると主張している。 このような安価な信号はうまく動作し、遠隔言語対においてより複雑な教師なし手法により性能が向上することを示す。 この結果から,BWEを構築する際には,遠隔言語であっても,これらの学習信号を無視すべきでないことが示された。
  論文  参考訳（メタデータ） (2022-05-31T12:00:55Z)
• Optical Braille Recognition using Circular Hough Transform [0.0]
  本研究の目的は、盲目の学生の個人文書を翻訳することで、学術機関におけるコミュニケーションギャップを強化することである。 ハフ変換に基づくドット検出機構を提案する。 検出されたドットは、距離ベースのクラスタリングアルゴリズムを使用して点字セルにクラスタリングされる。 54点字スクリプトのデータセットに対するこの手法の包括的な評価は、98.71%の精度で行われている。
  論文  参考訳（メタデータ） (2021-07-02T12:15:24Z)
• Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
  手話は聴覚障害者や言語障害者のコミュニケーションに使用される。 また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。 近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
  論文  参考訳（メタデータ） (2021-03-16T03:38:17Z)
• An automated approach to mitigate transcription errors in braille texts for the Portuguese language [1.0742675209112622]
  本稿では、ポルトガル語の点字テキストにおける転写誤りを軽減させる自動アプローチを提案する。 本稿では,その点字表現に基づく単語の最適な対応を提供する辞書と組み合わせた選択関数を提案する。
  論文  参考訳（メタデータ） (2021-03-05T20:41:14Z)
• Optical Braille Recognition Using Object Detection CNN [0.0]
  本稿では,物体検出畳み込みニューラルネットワークを用いて,点字文字全体を同時に検出する光点字認識手法を提案する。 これは、スマートフォンのカメラで撮影されている点字テキストを認識できるようにします。
  論文  参考訳（メタデータ） (2020-12-22T23:22:59Z)
• Braille to Text Translation for Bengali Language: A Geometric Approach [0.0]
  一般人は点字を読めない。だから教師や親類は、学習を手伝うのが難しい。 ここでは、これらの触覚アルファベットを画像化し、それらをプレーンテキストに変換する点字 to Text Translatorを提案する。 この手法は点字認識において97.25%の精度が得られる。
  論文  参考訳（メタデータ） (2020-12-02T19:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。