論文の概要: Towards Figurative Language Understanding in Moroccan Darija: An Evaluation of Large Language Models
- arxiv url: http://arxiv.org/abs/2610.25406v1
- Date: Sun, 18 Oct 2026 17:05:56 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:23:36.654856
- Title: Towards Figurative Language Understanding in Moroccan Darija: An Evaluation of Large Language Models
- Title(参考訳): モロッコ・ダリヤにおけるフィギュラティブ言語理解に向けて:大規模言語モデルの評価
- Abstract要約: 機械翻訳(MT)システムにとって、図形言語は依然として大きな課題である。
本稿では、MTとMCQ選択のためのベンチマークデータセットであるMDFC(Moroccan Darija Figurative Language Corpus)を紹介する。
MDFCを用いて, 表現レベルと文脈レベルの両方で, 19のオープンおよびクローズドウェイト言語モデルとMTシステムを評価する。
- 参考スコア(独自算出の注目度): 6.440674968844996
- License:
- Abstract: Figurative language remains a major challenge for Machine Translation (MT) systems, as the intended meaning of such expressions often goes beyond literal translation. Although recent advances in Large Language Models (LLMs) improved the translation of Arabic dialects, benchmark resources for evaluating figurative language translation in Moroccan Darija remain scarce. To this end, we introduce the Moroccan Darija Figurative Language Corpus (MDFC), a benchmark dataset for MT and multiple-choice question (MCQ) selection covering idioms, metaphors, and proverbs. Using MDFC, we evaluate 19 open- and closed-weight language models and MT systems at both the expression and contextual levels under zero-shot and six-shot settings. We also conduct layer-wise similarity-based probing to determine how model representations distinguish figurative from literal meanings. Our findings reveal that closed-weight models achieve the strongest translation performance, while the benefits of contextual information vary across models and tasks. Differences between translation performance and MCQ accuracy highlight the distinction between generating an appropriate figurative translation and recognizing the intended meaning among candidate translations.
- Abstract(参考訳): 表現言語は機械翻訳(MT)システムにとって依然として大きな課題であり、そのような表現の意図された意味はリテラル翻訳を超えることが多い。
近年のLarge Language Models (LLMs) の進歩によりアラビア語方言の翻訳が向上したが、モロッコ・ダリヤにおける図形言語翻訳を評価するためのベンチマークリソースは乏しいままである。
そこで本稿では,MT のベンチマークデータセットである Moroccan Darija Figurative Language Corpus (MDFC) を紹介する。
MDFCを用いて,ゼロショットおよび6ショット設定下において,表現レベルと文脈レベルの両方で,オープンおよびクローズドウェイト言語モデルおよびMTシステムの評価を行った。
また、モデル表現が表現的意味とリテラル意味を区別する方法を決定するために、層単位での類似性に基づく探索を行う。
その結果,クローズドウェイトモデルが最も高い翻訳性能を実現する一方で,コンテキスト情報の利点はモデルやタスクによって異なることがわかった。
翻訳性能とMCQ精度の違いは、適切な図形翻訳を生成することと、候補翻訳の意図した意味を認識することの区別を強調する。
関連論文リスト
- IDIOLEX: Unified and Continuous Representations for Idiolectal and Stylistic Variation [88.98544786373212]
既存の文表現は主に、その表現方法ではなく、ある文が何を言っているかを符号化する。
本研究は,意味内容から分離したスタイルと方言をキャプチャする文表現を開発する。
IDIOLEX(IDIOLEX)は,文の証明から文の内容の言語的特徴までを統括するモデルを訓練するためのフレームワークである。
論文 参考訳(メタデータ) (2026-04-06T14:17:24Z) - HeQ: a Large and Diverse Hebrew Reading Comprehension Benchmark [54.73504952691398]
我々は,抽出質問としてヘブライ語機械読解データセットの提供に着手した。
ヘブライ語の形態学的に豊かな性質はこの努力に挑戦している。
我々は,新しいガイドラインのセット,制御されたクラウドソーシングプロトコル,評価基準の改訂を考案した。
論文 参考訳(メタデータ) (2025-08-03T15:53:01Z) - Graph-Assisted Culturally Adaptable Idiomatic Translation for Indic Languages [3.2498796510544636]
マルチワード式(MWE)とイディオムの翻訳には、ソース言語とターゲット言語の両方を深く理解する必要がある。
従来の静的知識グラフ(KG)とプロンプトベースのアプローチは、これらの複雑な関係を捉えるのに苦労する。
慣用的表現間の複雑なマッピングを学習する適応グラフニューラルネットワーク(GNN)に基づく手法を提案する。
論文 参考訳(メタデータ) (2025-05-28T03:42:16Z) - MMTE: Corpus and Metrics for Evaluating Machine Translation Quality of Metaphorical Language [21.927721757976705]
図形言語の翻訳に焦点をあてた評価指標のセットを提案する。
評価プロトコルは,メタフォラル等価性,感情,認証性,品質の4つの側面を推定する。
論文 参考訳(メタデータ) (2024-06-19T16:52:22Z) - Context-Aware Machine Translation with Source Coreference Explanation [26.336947440529713]
本稿では,入力中のコア参照の特徴を予測し,翻訳のための意思決定を説明するモデルを提案する。
我々は、WMT文書レベルの翻訳タスクにおいて、英語-ドイツ語データセット、英語-ロシア語データセット、多言語TEDトークデータセットの評価を行った。
論文 参考訳(メタデータ) (2024-04-30T12:41:00Z) - MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation [61.65537912700187]
機械翻訳(MT)分野における言語モデル(LLM)の強みを実証した。
我々は,LLMから既存のMTモデルに選択的かつ包括的かつ積極的に知識を伝達するMT-Patcherというフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-14T16:07:39Z) - Reference-less Analysis of Context Specificity in Translation with
Personalised Language Models [3.527589066359829]
本研究は、リッチキャラクタとフィルムアノテーションがいかにパーソナライズ言語モデル(LM)に活用できるかを考察する。
非文脈モデルと比較して、難易度を最大6.5%削減するために、リッチな文脈情報を活用するLMを構築している。
我々の領域における専門翻訳の文脈特化度は、文脈機械翻訳モデルによりよりよく保存できることを示す。
論文 参考訳(メタデータ) (2023-03-29T12:19:23Z) - Evaluating and Improving the Coreference Capabilities of Machine
Translation Models [30.60934078720647]
機械翻訳は幅広い言語能力を必要とする。
現在のエンドツーエンドモデルは、バイリンガルコーパスで一致した文を観察することで暗黙的に学習することが期待されている。
論文 参考訳(メタデータ) (2023-02-16T18:16:09Z) - Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
比喩的・比喩的な言語は言論において一般的である。
現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。
ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
論文 参考訳(メタデータ) (2022-04-26T23:42:22Z) - When Does Translation Require Context? A Data-driven, Multilingual
Exploration [71.43817945875433]
談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する
文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。
談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
論文 参考訳(メタデータ) (2021-09-15T17:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。