論文の概要: MetaHOPE: A Metaphor-Oriented Evaluation Framework for Analysing MT and LLM Translation Errors
- arxiv url: http://arxiv.org/abs/2607.00848v1
- Date: Wed, 01 Jul 2026 12:13:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.884451
- Title: MetaHOPE: A Metaphor-Oriented Evaluation Framework for Analysing MT and LLM Translation Errors
- Title(参考訳): MetaHOPE:MTおよびLLM翻訳エラー解析のためのメタファー指向評価フレームワーク
- Abstract要約: 本稿ではメタHOPEを提案する。メタHOPEはメタ翻訳を評価するためのエラー重大度対応アノテーションフレームワークである。
現在最先端のNLPモデルがメタファーの翻訳でどのように機能するかを調べるために,GoogleMT, GPT5.4, Hunyuan-7bの3つの代表システムを選択する。
メタHOPE評価フレームワークはメタ翻訳アノテーション,並列コーパスリソース,SOTA自動翻訳モデルの誤り解析に有用であると考えている。
- 参考スコア(独自算出の注目度): 4.128870483228086
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this opinion paper, we propose MetaHOPE, an error severity-aware annotation framework for evaluating metaphor translations. Metaphors present challenges for machine translation (MT) and natural language understanding and processing (NLU, NLP), because it presents the features of semantic complexity, contextual dependency, and cultural embeddings that can lead to ambiguity issues for NLP models. To investigate how state-of-the-art NLP models perform on translating metaphors, we select three representative systems, i.e., GoogleMT, GPT5.4, and Hunyuan-7b as Neural MT (NMT) models and LLMs. We used two human-annotated metaphor corpora, including VUAMC and PSUCMC for English-to-Chinese and Chinese-to-English translation purposes. The original corpora we used are monolingual, where we carried out error annotation using the MetaHOPE framework, and also produced the human post-edited gold reference for bilingual use as a new resource. We believe the MetaHOPE evaluation framework for metaphor translation annotation, the parallel corpora resources, and the error analysis on SOTA automatic translation models can be useful and shed some light for the field of metaphor translation study. We share our resources publicly upon paper acceptance.
- Abstract(参考訳): 本稿ではメタHOPE(MetaHOPE)を提案する。メタHOPE(MetaHOPE)はメタメタ翻訳を評価するためのエラー重大度対応アノテーションフレームワークである。
メタファーは、機械翻訳(MT)と自然言語理解処理(NLU、NLP)の課題を提示している。
翻訳メタファーにおける最先端のNLPモデルがどのように機能するかを調べるため,ニューラルMTモデルとLLMとして,GoogleMT,GPT5.4,Hunyuan-7bの3つの代表システムを選択した。
VUAMCとPSUCMCの2つのメタファーコーパスを中国語と中国語の翻訳に使用した。
使用するコーパスはモノリンガルであり,MetaHOPEフレームワークを用いてエラーアノテーションを実行し,新たなリソースとしてバイリンガル使用のための人為的後金参照を生成する。
メタHOPE評価フレームワークはメタ翻訳アノテーション,並列コーパスリソース,SOTA自動翻訳モデルの誤り解析に有用であり,比喩翻訳研究の分野に光を当てている。
論文の受理により、我々の資源を公に共有する。
関連論文リスト
- MameLoshnLM: Yiddish Language Model and Evaluation Benchmark [62.936233688546984]
We present MameLoshnLM, a first open-source 8B- parameter language model built for Yiddish。
イディッシュ語のリッチテキストの伝統にもかかわらず、そのデジタル的存在と信頼性の高い評価資源の不足は、イディッシュ語のモデリングの進歩を妨げている。
この結果は,Yiddish NLPの基礎と,歴史的にリッチだがデジタルに表現されていない言語における言語モデル開発のための実践的テンプレートの両方を提供する。
論文 参考訳(メタデータ) (2026-08-06T10:24:08Z) - Towards End-to-End Multilingual Metaphor Processing: Integrating Detection, Translation, and Evaluation [4.128870483228086]
このPhD提案は多言語メタファー処理のためのエンドツーエンドフレームワークを開発することを目的としている。
言語理論と、新しいデータセット、アノテーション方法論、評価ベンチマーク、メタファ対応機械翻訳のための自動評価アプローチを開発するための大規模言語モデルの進歩を組み合わせる。
論文 参考訳(メタデータ) (2026-08-04T22:35:36Z) - MAS-LitEval : Multi-Agent System for Literary Translation Quality Assessment [5.703909513367545]
文学翻訳は、文化的ニュアンスと様式的な要素を保存する必要がある。
BLEUやMETEORといった従来のメトリクスは、語彙重なりに重点を置いているため、評価に失敗する。
言語モデル(LLM)を用いたマルチエージェントシステムMAS-LitEvalを提案する。
論文 参考訳(メタデータ) (2025-06-17T05:33:40Z) - Towards Multimodal Metaphor Understanding: A Chinese Dataset and Model for Metaphor Mapping Identification [9.08615188602226]
我々は、特定のターゲットドメインとソースドメインのアノテーションを含む中国のマルチモーダルメタファー広告データセット(CM3D)を開発した。
我々は,これらのマッピングを識別するための認知過程をシミュレートする,CPMMIM (Chain-of-NLP) Prompting-based Metaphor Mapping Identification Model) を提案する。
論文 参考訳(メタデータ) (2025-01-05T04:15:03Z) - Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem [4.830018386227]
本研究では,機械翻訳パイプラインの自動化の一環として,事前学習された大言語モデル(LLM)が低リソース言語から高リソース言語への翻訳を指示する際の文脈内学習能力について検討する。
我々は南ケチュアをスペイン語に翻訳する一連の実験を行い、デジタル化された教育材料と平行コーパスの制約されたデータベースから得られた様々な種類の文脈の情報量について検討する。
論文 参考訳(メタデータ) (2024-06-21T20:02:22Z) - (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts [56.7988577327046]
翻訳企業の役割と協調の実践をシミュレートする,新しいマルチエージェントフレームワークであるTransAgentsを紹介する。
本研究は,翻訳品質の向上,特にテキストの長文化におけるマルチエージェント協調の可能性を明らかにするものである。
論文 参考訳(メタデータ) (2024-05-20T05:55:08Z) - Meta4XNLI: A Crosslingual Parallel Corpus for Metaphor Detection and Interpretation [6.0158981171030685]
本稿ではメタ4XNLIについて紹介する。メタ4XNLIは自然言語推論(NLI)のための最初の並列データセットである。
その結果,微調整エンコーダはメタファー検出においてデコーダのみのLLMよりも優れていた。
また,言語間のメタファーの保存や喪失において,翻訳が重要な役割を担っていることも確認した。
論文 参考訳(メタデータ) (2024-04-10T14:44:48Z) - Towards Effective Disambiguation for Machine Translation with Large
Language Models [65.80775710657672]
我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。
実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
論文 参考訳(メタデータ) (2023-09-20T22:22:52Z) - Discourse Centric Evaluation of Machine Translation with a Densely
Annotated Parallel Corpus [82.07304301996562]
本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。
ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。
我々はMT出力が人間の翻訳と基本的に異なることを発見した。
論文 参考訳(メタデータ) (2023-05-18T17:36:41Z) - Exploring Human-Like Translation Strategy with Large Language Models [93.49333173279508]
大規模言語モデル(LLM)は、一般的なシナリオにおいて印象的な機能を示している。
本研究は,マルチアスペクト・プロンプトと選択のためのMAPSフレームワークを提案する。
品質推定に基づく選択機構を用いて,ノイズや不ヘッピーな知識を抽出する。
論文 参考訳(メタデータ) (2023-05-06T19:03:12Z) - Learning Contextualized Sentence Representations for Document-Level
Neural Machine Translation [59.191079800436114]
文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。
本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-30T03:38:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。