論文の概要: CNSL-bench: Benchmarking the Sign Language Understanding Capabilities of MLLMs on Chinese National Sign Language

• arxiv url: http://arxiv.org/abs/2604.22367v1
• Date: Fri, 24 Apr 2026 08:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.406742
• Title: CNSL-bench: Benchmarking the Sign Language Understanding Capabilities of MLLMs on Chinese National Sign Language
• Title（参考訳）: CNSL-bench:中国の手話におけるMLLMの手話理解能力のベンチマーク
• Authors: Rui Zhao, Xuewen Zhong, Xiaoyun Zheng, Jinsong Su, Yidong Chen,
• Abstract要約: 我々は,手話理解において大規模言語モデル (MLLM) を評価するために設計された,中国初の包括的な手話ベンチマークについて紹介する。 1) 公式に標準化されたtextitNational Common Sign Language Dictionary に固定されている。 CNSL-benchを用いて、21のオープンソースおよびプロプライエタリMLLMを広範囲に評価する。
• 参考スコア（独自算出の注目度）: 29.349164636469187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sign language research has achieved significant progress due to the advances in large language models (LLMs). However, the intrinsic ability of LLMs to understand sign language, especially in multimodal contexts, remains underexplored. To address this limitation, we introduce CNSL-bench, the first comprehensive Chinese em{National Sign Language benchmark designed for evaluating multimodal large language models (MLLMs) in sign language understanding. The proposed CNSL-bench is characterized by: 1) Authoritative grounding, as it is anchored to the officially standardized \textit{National Common Sign Language Dictionary, mitigating ambiguity from regional or non-canonical variants and ensuring consistent semantic definitions; 2) Multimodal coverage, providing aligned textual descriptions, illustrative images, and sign language videos; and 3) Articulatory diversity, supporting fine-grained analysis across key manual articulatory forms, including air-writing, finger-spelling, and the Chinese manual-alphabet. Using CNSL-bench, we extensively evaluate 21 open-source and proprietary up-to-date MLLMs. Our results reveal that, despite recent advances in multimodal modeling, current MLLMs remain substantially inferior to human performance, exhibiting systematic disparities across input modalities and manual articulatory forms. Additional diagnostic analyses suggest that several performance limitations persist beyond improvements in reasoning and that instruction-following robustness varies substantially across models.
• Abstract（参考訳）: 大型言語モデル(LLM)の進歩により手話研究は大きな進歩を遂げた。 しかし、特に多モーダルな文脈で手話を理解するLLMの本質的な能力はいまだに未解明のままである。 CNSL-benchは,手話理解においてマルチモーダルな大言語モデル(MLLM)を評価するために設計された,中国初の総合的なEM{National Sign Languageベンチマークである。 提案したCNSLベンチの特徴は次のとおりである。 1) 権限的根拠は,正式に標準化された \textit{National Common Sign Language Dictionary に固定されているため,地域又は非標準的変種からの曖昧性を緩和し,一貫性のある意味的定義を確保する。 2)マルチモーダルなカバレッジ,整列したテキスト記述,イラスト画像,手話ビデオの提供 3) 調音の多様性は, エアライティング, 指打ち, 中国語のマニュアル・アルファベットなど, キーマニュアルの調音形態のきめ細かい分析を支援する。 CNSL-benchを用いて、21のオープンソースおよびプロプライエタリMLLMを広範囲に評価する。 その結果、近年のマルチモーダルモデリングの進歩にもかかわらず、現在のMLLMは人間のパフォーマンスにはかなり劣っていることが明らかとなり、入力モダリティと手動の調音形態の体系的な相違が示された。 追加の診断分析は、いくつかの性能制限が推論の改善を超えて継続し、命令追従の堅牢性はモデルによって大きく異なることを示唆している。

関連論文リスト

• LLM Probe: Evaluating LLMs for Low-Resource Languages [6.177998679139308]
  本稿では,低リソース言語における大規模言語モデル (LLM) の言語能力を評価するための語彙ベースアセスメントフレームワークを提案する。 このフレームワークは、語彙アライメント、音声認識、モルフォシンタクティック・プロービング、翻訳精度の4つの領域にわたるモデルを分析する。
  論文  参考訳（メタデータ） (2026-03-31T10:03:38Z)
• MCIF: Multimodal Crosslingual Instruction-Following Benchmark from Scientific Talks [37.069856351074385]
  MCIF (Multimodal Crosslingual Instruction following) は、科学的な議論に基づく最初の多言語人手によるベンチマークである。 ショートフォームとロングフォームの両方の入力に対して、クロスランガルでマルチモーダルな設定で命令追従を評価するように設計されている。 言語、視覚、テキストの3つの中核的なモダリティと4つの多言語(英語、ドイツ語、イタリア語、中国語)にまたがる。
  論文  参考訳（メタデータ） (2025-07-25T19:00:51Z)
• A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers [51.8203871494146]
  LLM(Large Language Models)の急速な開発は、自然言語処理における顕著な多言語機能を示している。 LLMのブレークスルーにもかかわらず、多言語シナリオの研究は依然として不十分である。 本調査は,多言語問題に対する研究コミュニティの取り組みを支援することを目的としており,LLMに基づく多言語自然言語処理における中核概念,鍵技術,最新の発展の包括的理解を提供する。
  論文  参考訳（メタデータ） (2024-05-17T17:47:39Z)
• A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias [5.096332588720052]
  本稿では,MLLMの進化,鍵技術,多言語能力について概説する。 第3に、多言語表現の最先端研究について調査し、現在のMLLMが普遍言語表現を学べるかどうかを検討する。 第4に,MLLMのカテゴリ,評価指標,脱バイアス技術などのバイアスについて論じる。
  論文  参考訳（メタデータ） (2024-04-01T05:13:56Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding [90.87454350016121]
  コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。 言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
  論文  参考訳（メタデータ） (2022-05-07T13:44:28Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。