論文の概要: MGAL: A Multilingual Granularity-Aware Long-Context Benchmark
- arxiv url: http://arxiv.org/abs/2608.20853v1
- Date: Fri, 21 Aug 2026 08:19:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.473947
- Title: MGAL: A Multilingual Granularity-Aware Long-Context Benchmark
- Title（参考訳）: MGAL:多言語粒度を意識した長期ベンチマーク
- Abstract要約: MGALは国連(UN)の報告書で、国連の6つの公用語にまたがる8Kから128Kのトークンにまたがる。
4つの一貫性のある言語的粒度のレベル(単語、文、段落、文書)をカバーし、さらに文書内のそれらの位置によってエントリを階層化する。
この設計は、異なる粒度にわたる多言語長文理解の体系的診断を可能にする。
- 参考スコア（独自算出の注目度）: 24.725846756080788
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluation of long-context Large Language Models (LLMs) has advanced rapidly. However, most existing benchmarks are limited to the document level and focus mainly on high-resource languages, leaving many fine-grained challenges insufficiently evaluated. To address this gap, we present MGAL, the first multilingual, granularity- and position-aware long-context benchmark. MGAL is constructed from United Nations (UN) reports spanning 8K to 128K tokens across the six official UN languages. It covers four coherent levels of linguistic granularity (word, sentence, paragraph, and document) and further stratifies entries by their position within the document (begin, middle, and end), indexed at both the document and paragraph levels. This design enables systematic diagnosis of multilingual long-context comprehension across different granularities. Through extensive experiments and analyses, we find that: (1) LLMs perform well at word-level tasks but struggle with coarser-grained ones; and (2) Closed-source models retain a clear performance advantage in lower-resource languages. We further identify two new challenges: (1) Under local semantic crowding, where neighboring sentences share topics and entities, models tend to follow surface cues (e.g., connectives like ``however'' or repeated entities) rather than the discourse role of the sentence in surrounding context (e.g., background, outcome); and (2) A gap between fluency and consistency in generated outputs, where models produce text that reads smoothly but drifts from the source facts. In addition, we observe several patterns in line with prior studies, including reliance on nearby evidence and reuse of options under uncertainty.
- Abstract（参考訳）: 長文大言語モデル(LLM)の評価は急速に進んでいる。
しかし、既存のベンチマークのほとんどはドキュメントレベルに限られており、主に高ソース言語に焦点を当てており、多くのきめ細かい課題が十分に評価されていない。
このギャップに対処するため、最初の多言語、粒度、位置対応長文ベンチマークMGALを提案する。
MGALは国連(UN)の報告書で、国連の6つの公用語にまたがる8Kから128Kのトークンにまたがっている。
4つの一貫性のある言語的粒度(単語、文、段落、文書)を包含し、文書内の位置(中・末)によってさらに階層化し、文書と段落の両方で索引付けされる。
この設計は、異なる粒度にわたる多言語長文理解の体系的診断を可能にする。
1)LLMは単語レベルでのタスクでは良好に機能するが,粗いタスクでは困難であり,(2)クローズドソースモデルは低リソース言語では明らかな性能上の優位性を維持している。
1) 近隣の文が話題や実体を共有する局所的な意味的群集では, モデルは周囲の文脈(例えば, 背景, 結果)における文の談話的役割よりも, 表面的な手がかり(例えば, "however" や "current entity" のような接続性)に従う傾向にある。
また,近隣の証拠への依存や,不確実性の下でのオプションの再利用など,先行研究に沿ったいくつかのパターンを観察する。
関連論文リスト
- On the Limitations of Cross-Lingual Consistency in Multilingual Text-to-image Generation [79.18001266925245]
LingT2Iは、33Kプロンプトを持つ10の広く使われている言語をカバーするベンチマークである。
我々は、言語不平等と言語依存のトレードオフを明らかにする包括的な言語間分析を行う。
論文 参考訳（メタデータ） (2026-08-11T14:49:23Z) - MameLoshnLM: Yiddish Language Model and Evaluation Benchmark [62.936233688546984]
We present MameLoshnLM, a first open-source 8B- parameter language model built for Yiddish。
イディッシュ語のリッチテキストの伝統にもかかわらず、そのデジタル的存在と信頼性の高い評価資源の不足は、イディッシュ語のモデリングの進歩を妨げている。
この結果は,Yiddish NLPの基礎と,歴史的にリッチだがデジタルに表現されていない言語における言語モデル開発のための実践的テンプレートの両方を提供する。
論文 参考訳（メタデータ） (2026-08-06T10:24:08Z) - LLM Probe: Evaluating LLMs for Low-Resource Languages [6.177998679139308]
本稿では,低リソース言語における大規模言語モデル (LLM) の言語能力を評価するための語彙ベースアセスメントフレームワークを提案する。
このフレームワークは、語彙アライメント、音声認識、モルフォシンタクティック・プロービング、翻訳精度の4つの領域にわたるモデルを分析する。
論文 参考訳（メタデータ） (2026-03-31T10:03:38Z) - Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。
この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。
さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
論文 参考訳（メタデータ） (2025-05-24T12:31:27Z) - Multilingual Needle in a Haystack: Investigating Long-Context Behavior of Multilingual Large Language Models [22.859955360764275]
本稿では,MultiLingual Needle-in-a-Haystack(MLNeedle)テストを導入する。
我々はMLNeedleの4つの最先端の大規模言語モデルを評価する。
論文 参考訳（メタデータ） (2024-08-19T17:02:06Z) - Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers [81.47046536073682]
本稿では,MLLM(Multilingual Large Language Model)文学における最近の進歩と新たなトレンドを要約する一貫した視点を提示する。
私たちの研究がコミュニティに迅速なアクセスを提供し、MLLMにおける画期的な研究を促進することを願っています。
論文 参考訳（メタデータ） (2024-04-07T11:52:44Z) - One Law, Many Languages: Benchmarking Multilingual Legal Reasoning for Judicial Support [18.810320088441678]
この研究は、法域に対する新しいNLPベンチマークを導入している。
エンフロング文書(最大50Kトークン)の処理、エンフドメイン固有の知識(法的テキストに具体化されている)、エンフマルチリンガル理解(5つの言語をカバーしている)の5つの重要な側面においてLCMに挑戦する。
我々のベンチマークにはスイスの法体系からの多様なデータセットが含まれており、基礎となる非英語、本質的には多言語法体系を包括的に研究することができる。
論文 参考訳（メタデータ） (2023-06-15T16:19:15Z) - Efficient Entity Candidate Generation for Low-Resource Languages [13.789451365205665]
候補生成はエンティティリンクにおいて重要なモジュールである。
知識ベースを効果的に活用することが証明された複数のNLPタスクにおいて重要な役割を果たす。
本稿では,言語間エンティティリンクの文脈における候補生成問題の詳細な分析を行う。
論文 参考訳（メタデータ） (2022-06-30T09:49:53Z) - IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and
Languages [87.5457337866383]
画像認識言語理解評価ベンチマークについて紹介する。
IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。
翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
論文 参考訳（メタデータ） (2022-01-27T18:53:22Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。