論文の概要: Towards Fully Automated Manga Translation
- arxiv url: http://arxiv.org/abs/2012.14271v3
- Date: Sat, 9 Jan 2021 14:21:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-19 11:06:26.991983
- Title: Towards Fully Automated Manga Translation
- Title（参考訳）: マンガ翻訳の完全自動化に向けて
- Authors: Ryota Hinami, Shonosuke Ishiwatari, Kazuhiko Yasuda, and Yusuke Matsui
- Abstract要約: 漫画、日本の漫画の機械翻訳の問題に取り組みます。
画像からコンテキストを取得することは マンガの翻訳に不可欠です。
まず,マルチモーダルコンテキスト対応翻訳フレームワークを提案する。
第二に、モデルのトレーニングでは、オリジナル漫画のペアから自動コーパス構築へのアプローチを提案します。
第3に,マンガ翻訳を評価するための新しいベンチマークを作成した。
- 参考スコア（独自算出の注目度）: 8.45043706496877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We tackle the problem of machine translation of manga, Japanese comics. Manga
translation involves two important problems in machine translation:
context-aware and multimodal translation. Since text and images are mixed up in
an unstructured fashion in Manga, obtaining context from the image is essential
for manga translation. However, it is still an open problem how to extract
context from image and integrate into MT models. In addition, corpus and
benchmarks to train and evaluate such model is currently unavailable. In this
paper, we make the following four contributions that establishes the foundation
of manga translation research. First, we propose multimodal context-aware
translation framework. We are the first to incorporate context information
obtained from manga image. It enables us to translate texts in speech bubbles
that cannot be translated without using context information (e.g., texts in
other speech bubbles, gender of speakers, etc.). Second, for training the
model, we propose the approach to automatic corpus construction from pairs of
original manga and their translations, by which large parallel corpus can be
constructed without any manual labeling. Third, we created a new benchmark to
evaluate manga translation. Finally, on top of our proposed methods, we devised
a first comprehensive system for fully automated manga translation.
- Abstract（参考訳）: マンガや日本の漫画の機械翻訳問題に取り組む。
マンガ翻訳には、文脈認識とマルチモーダル翻訳の2つの重要な問題がある。
マンガではテキストと画像が非構造的に混ざり合っているため、マンガの翻訳には画像から文脈を取得することが不可欠である。
しかし、画像からコンテキストを抽出してmtモデルに統合する方法はまだ未解決の問題である。
さらに、これらのモデルのトレーニングと評価のためのコーパスとベンチマークは、現在利用できない。
本稿では,マンガ翻訳研究の基礎となる4つの貢献について述べる。
まず,マルチモーダルな文脈認識翻訳フレームワークを提案する。
マンガ画像から得られた文脈情報を最初に組み込んだ。
これにより、文脈情報(例えば、他の音声バブルのテキスト、話者の性別など)を使わずに翻訳できない音声バブルのテキストを翻訳することができる。
第2に,モデル学習のために,手作業によるラベリングを行わずに大規模並列コーパスを構築できるマンガと翻訳のペアからの自動コーパス構築手法を提案する。
第3に,マンガ翻訳を評価するための新しいベンチマークを作成した。
最後に,提案手法に加えて,完全自動マンガ翻訳のための最初の総合的なシステムを考案した。
関連論文リスト
- Context-Informed Machine Translation of Manga using Multimodal Large Language Models [4.063595992745368]
マルチモーダル大言語モデル(LLM)がマンガの翻訳に有効かを検討した。
具体的には,マルチモーダルLLMの視覚成分を利用して翻訳品質を向上させる手法を提案する。
本稿では,日本語とポーランド語を同時翻訳する新たな評価データセットを提案する。
論文 参考訳（メタデータ） (2024-11-04T20:29:35Z) - AnyTrans: Translate AnyText in the Image with Large Scale Models [88.5887934499388]
本稿では、画像中のタスク翻訳AnyText(TATI)のためのオール・エンコンパス・フレームワークであるAnyTransを紹介する。
我々のフレームワークは、翻訳中にテキスト要素と視覚要素の両方から文脈的手がかりを取り入れている。
6つの言語対の多言語テキスト画像翻訳データからなるMTIT6というテストデータセットを精巧にコンパイルした。
論文 参考訳（メタデータ） (2024-06-17T11:37:48Z) - An image speaks a thousand words, but can everyone listen? On image transcreation for cultural relevance [53.974497865647336]
われわれは、画像の翻訳を文化的に意味のあるものにするための第一歩を踏み出した。
タスクを行うために、最先端の生成モデルからなる3つのパイプラインを構築します。
我々は,翻訳画像の人間による評価を行い,文化的意義と保存の意味を評価する。
論文 参考訳（メタデータ） (2024-04-01T17:08:50Z) - The Manga Whisperer: Automatically Generating Transcriptions for Comics [55.544015596503726]
我々は,パネル,テキストボックス,文字ボックスを検出可能な統一モデル Magi を提案する。
本稿では,検出したテキストボックスを読み順にソートし,対話文を生成する手法を提案する。
論文 参考訳（メタデータ） (2024-01-18T18:59:09Z) - M2C: Towards Automatic Multimodal Manga Complement [40.01354682367365]
マルチモーダルマンガ分析は、視覚的特徴とテキスト的特徴によるマンガ理解の強化に焦点を当てている。
現在、ほとんどのコミックは手描きであり、ページの欠落、テキストの汚染、老化といった問題に悩まされている。
2つの言語をカバーする新しいM2Cベンチマークデータセットを確立することで,まずマルチモーダルマンガ補完タスクを提案する。
論文 参考訳（メタデータ） (2023-10-26T04:10:16Z) - Dense Multitask Learning to Reconfigure Comics [63.367664789203936]
漫画パネルの密集予測を実現するために,MultiTask Learning (MTL) モデルを開発した。
本手法は,漫画パネルにおける意味単位と3D概念の同定に有効である。
論文 参考訳（メタデータ） (2023-07-16T15:10:34Z) - A Bilingual Parallel Corpus with Discourse Annotations [82.07304301996562]
本稿では,Jiang et al. (2022)で最初に導入された大きな並列コーパスであるBWBと,注釈付きテストセットについて述べる。
BWBコーパスは、専門家によって英語に翻訳された中国の小説で構成されており、注釈付きテストセットは、様々な談話現象をモデル化する機械翻訳システムの能力を調査するために設計されている。
論文 参考訳（メタデータ） (2022-10-26T12:33:53Z) - BitextEdit: Automatic Bitext Editing for Improved Low-Resource Machine
Translation [53.55009917938002]
自動編集によりマイニングしたビットクストを改良することを提案する。
提案手法は,5つの低リソース言語ペアと10の翻訳方向に対して,最大8個のBLEUポイントでCCMatrixマイニングビットクストの品質を向上することを示す。
論文 参考訳（メタデータ） (2021-11-12T16:00:39Z) - Simultaneous Machine Translation with Visual Context [42.88121241096681]
同時機械翻訳(SiMT)は、連続的な入力テキストストリームを低レイテンシで最高の品質で別の言語に変換することを目的としている。
我々は、様々なマルチモーダルアプローチと視覚的特徴が最先端のSiMTフレームワークに与える影響を分析する。
論文 参考訳（メタデータ） (2020-09-15T18:19:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。