論文の概要: Context-Informed Machine Translation of Manga using Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2411.02589v1
• Date: Mon, 04 Nov 2024 20:29:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:00:17.867158
• Title: Context-Informed Machine Translation of Manga using Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルを用いたマンガの文脈インフォームド機械翻訳
• Authors: Philip Lippmann, Konrad Skublicki, Joshua Tanner, Shonosuke Ishiwatari, Jie Yang,
• Abstract要約: マルチモーダル大言語モデル(LLM)がマンガの翻訳に有効かを検討した。 具体的には,マルチモーダルLLMの視覚成分を利用して翻訳品質を向上させる手法を提案する。 本稿では,日本語とポーランド語を同時翻訳する新たな評価データセットを提案する。
• 参考スコア（独自算出の注目度）: 4.063595992745368
• License:
• Abstract: Due to the significant time and effort required for handcrafting translations, most manga never leave the domestic Japanese market. Automatic manga translation is a promising potential solution. However, it is a budding and underdeveloped field and presents complexities even greater than those found in standard translation due to the need to effectively incorporate visual elements into the translation process to resolve ambiguities. In this work, we investigate to what extent multimodal large language models (LLMs) can provide effective manga translation, thereby assisting manga authors and publishers in reaching wider audiences. Specifically, we propose a methodology that leverages the vision component of multimodal LLMs to improve translation quality and evaluate the impact of translation unit size, context length, and propose a token efficient approach for manga translation. Moreover, we introduce a new evaluation dataset -- the first parallel Japanese-Polish manga translation dataset -- as part of a benchmark to be used in future research. Finally, we contribute an open-source software suite, enabling others to benchmark LLMs for manga translation. Our findings demonstrate that our proposed methods achieve state-of-the-art results for Japanese-English translation and set a new standard for Japanese-Polish.
• Abstract（参考訳）: 手作り翻訳に要する時間と労力から、ほとんどの漫画は日本国内市場を離れることはなかった。 マンガの自動翻訳は有望な潜在的な解決策である。 しかし、これは未発達の分野であり、曖昧さを解決するために視覚要素を翻訳プロセスに効果的に組み込む必要があるため、標準翻訳で見られるものよりも複雑度がさらに大きい。 本研究では,マルチモーダル・大規模言語モデル (LLM) がマンガ翻訳にどの程度有効かを検討した。 具体的には,マルチモーダルLLMの視覚成分を利用して翻訳品質を向上し,翻訳単位サイズ,文脈長の影響を評価し,マンガ翻訳のためのトークン効率のよいアプローチを提案する。 さらに,今後の研究に使用されるベンチマークの一部として,新たな評価データセット,すなわち日本語とポーランド語の同時翻訳データセットを導入する。 最後に、オープンソースソフトウェアスイートにコントリビュートし、他者がマンガ翻訳のためにLCMをベンチマークできるようにする。 その結果,提案手法は日本語翻訳の最先端化を実現し,日本語翻訳の新たな標準となった。

関連論文リスト

• (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts [52.18246881218829]
  本稿では,大言語モデル(LLM)をベースとした多エージェントフレームワークを,TransAgentsという企業として実装した。 本システムの有効性を評価するため,モノリンガル・ヒューマン・プライス(MHP)とバイリンガル・LLM・プライス(BLP)の2つの革新的な評価戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-20T05:55:08Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Exploring Human-Like Translation Strategy with Large Language Models [93.49333173279508]
  大規模言語モデル(LLM)は、一般的なシナリオにおいて印象的な機能を示している。 本研究は,マルチアスペクト・プロンプトと選択のためのMAPSフレームワークを提案する。 品質推定に基づく選択機構を用いて,ノイズや不ヘッピーな知識を抽出する。
  論文  参考訳（メタデータ） (2023-05-06T19:03:12Z)
• Interactive-Chain-Prompting: Ambiguity Resolution for Crosslingual Conditional Generation with Interaction [38.73550742775257]
  ある言語のソースクエリは、追加のコンテキストなしで、別の言語でいくつかの翻訳オプションを生成することができる。 あいまいさに対処するサブプロブレムのリストに変換を還元する対話型チェーンプロンプトを提案する。 異なる言語現象を示すデータセットを作成し、4つの言語の推論におけるあいまいさを導く。
  論文  参考訳（メタデータ） (2023-01-24T21:08:13Z)
• Improving Multilingual Neural Machine Translation System for Indic Languages [0.0]
  低リソース言語翻訳に関わる問題に対処する多言語ニューラルマシン翻訳(MNMT)システムを提案する。 提案モデルの実現には最先端のトランスフォーマーアーキテクチャを用いる。 大量のデータに対する試行は、従来のモデルよりもその優位性を明らかにしている。
  論文  参考訳（メタデータ） (2022-09-27T09:51:56Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback [70.5469946314539]
  ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。 統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
  論文  参考訳（メタデータ） (2021-07-30T17:58:54Z)
• Towards Fully Automated Manga Translation [8.45043706496877]
  漫画、日本の漫画の機械翻訳の問題に取り組みます。 画像からコンテキストを取得することは マンガの翻訳に不可欠です。 まず,マルチモーダルコンテキスト対応翻訳フレームワークを提案する。 第二に、モデルのトレーニングでは、オリジナル漫画のペアから自動コーパス構築へのアプローチを提案します。 第3に,マンガ翻訳を評価するための新しいベンチマークを作成した。
  論文  参考訳（メタデータ） (2020-12-28T15:20:52Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。