論文の概要: Evaluating Large Language Models for Multilingual Abstractive Summarization: A Comprehensive Study of English and Bengali

• arxiv url: http://arxiv.org/abs/2610.19003v1
• Date: Tue, 13 Oct 2026 18:05:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.738766
• Title: Evaluating Large Language Models for Multilingual Abstractive Summarization: A Comprehensive Study of English and Bengali
• Title（参考訳）: 多言語抽象要約のための大規模言語モデルの評価:英語とベンガル語に関する総合的研究
• Abstract要約: サイズマッチングした英語とBengali XL-Sumテストセットに対して,8つのクローズドソースおよびオープンウェイトLDMの標準ベンチマークを示す。 本評価では,レキシカルおよびセマンティックな指標と,基準のない事実性検証と多次元LLM-as-a-Judgeアセスメントを組み合わせた。 GPT-5.6 Lunaはいくつかの英語の語彙の指標を導いているが、ベンガル語では同様の利点を保っていない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Abstractive summarization remains challenging across languages, where linguistic quality and factual consistency may diverge, particularly in low-resource settings. We present a standardized zero-shot benchmark of eight closed-source and open-weight LLMs on size-matched English and Bengali XL-Sum test sets. Our evaluation combines lexical and semantic metrics with reference-free factuality verification and multidimensional LLM-as-a-Judge assessment, providing a comprehensive analysis of both surface-level quality and factual reliability in multilingual summarization. Results reveal substantial cross-lingual variation: GPT-5.6 Luna leads several English lexical metrics but does not maintain the same advantage in Bengali, where LLaMA 3.3 70B achieves the highest ROUGE and BLEU scores. Gemini 2.5 Flash obtains the highest observed Bengali factuality score. Furthermore, evaluation methods produce different model rankings, highlighting the limitations of relying on a single metric for multilingual summarization assessment. These findings demonstrate that strong English summarization performance does not necessarily transfer to Bengali and emphasize the need for comprehensive evaluation frameworks for low-resource languages.
• Abstract（参考訳）: 抽象的な要約は、言語品質と事実整合性がばらばらになりうる言語、特に低リソース環境において、依然として困難である。 サイズマッチングした英語とBengali XL-Sumテストセットに対して、8つのクローズドソースおよびオープンウェイトLLMの標準ゼロショットベンチマークを示す。 本評価では,語彙的および意味的指標と基準自由事実性検証と多次元LLM-as-a-Judge評価を併用し,多言語要約における表面品質と事実信頼性の両方を包括的に分析する。 GPT-5.6 Lunaはいくつかの英語の語彙の指標を導くが、LLaMA 3.3 70BがROUGEとBLEUの最高スコアを達成しているベンガルでは同様の優位性を維持していない。 Gemini 2.5 Flashは最も観測されたベンガルの事実性スコアを得る。 さらに、評価手法は異なるモデルランキングを生成し、多言語要約評価のための単一のメートル法に依存する限界を強調している。 これらの結果から,英語の要約性能が必ずしもベンガル語に移行するわけではないことが示され,低リソース言語に対する包括的な評価フレームワークの必要性が強調された。

関連論文リスト

• KatotohananQA: Evaluating Truthfulness of Large Language Models in Filipino [0.0]
  本稿では、TruthfulQAベンチマークのフィリピン翻訳であるKatotohananQAを紹介する。 7つの自由層プロプライエタリモデルがバイナリ選択フレームワークを使用して評価された。 発見は、英語とフィリピンの真実性の間に大きなパフォーマンスのギャップがあることを示している。
  論文  参考訳（メタデータ） (2025-09-07T14:09:57Z)
• MuBench: Assessment of Multilingual Capabilities of Large Language Models Across 61 Languages [33.450081592217074]
  MuBenchは61の言語をカバーし、幅広い機能を評価するベンチマークです。 我々は、最先端の多言語LLMを評価し、請求項と実際の言語カバレッジとの間に顕著なギャップを見いだした。
  論文  参考訳（メタデータ） (2025-06-24T09:53:00Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation [86.7047714187813]
  MMLU-ProXは29の言語をカバーするベンチマークであり、英語のベンチマーク上に構築されている。 それぞれの言語バージョンは11,829の同一の質問で構成されており、直接言語間比較を可能にする。 効率的な評価ニーズを満たすため,言語毎の質問数は658件である。
  論文  参考訳（メタデータ） (2025-03-13T15:59:20Z)
• Unraveling the Dominance of Large Language Models Over Transformer Models for Bangla Natural Language Inference: A Comprehensive Study [0.0]
  自然言語推論(NLI)は自然言語処理(NLP)の基盤である 本研究では,ベンガル語のような低リソース言語におけるLLM(Large Language Models)の評価について検討した。
  論文  参考訳（メタデータ） (2024-05-05T13:57:05Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• BenLLMEval: A Comprehensive Evaluation into the Potentials and Pitfalls of Large Language Models on Bengali NLP [17.362068473064717]
  大規模言語モデル(LLM)は、NLPにおいて最も重要なブレークスルーの1つである。 本稿では,ベンガル語での性能をベンチマークするために,LLMを総合的に評価するBenLLM-Evalを紹介する。 実験の結果、ベンガルのNLPタスクではゼロショットLLMは、現在のSOTA微調整モデルよりも性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-09-22T20:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。