論文の概要: YOMI-Bench: A Benchmark for Evaluating Kanji Reading and Phonological Understanding of LLMs for Japanese

• arxiv url: http://arxiv.org/abs/2607.00664v1
• Date: Wed, 01 Jul 2026 09:13:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.823211
• Title: YOMI-Bench: A Benchmark for Evaluating Kanji Reading and Phonological Understanding of LLMs for Japanese
• Title（参考訳）: YOMI-Bench:日本語における漢字読解と音韻理解のためのベンチマーク
• Authors: Ryota Mibayashi, Hiroya Takamura, Hitomi Yanaka,
• Abstract要約: 日本語では、一つの漢字文字が複数の読み出しが可能な場合が多く、表層テキストだけでは正しい読み出しを推測することは困難である。 提案するYOMI-Benchは,日本語の漢字読解能力を評価するための4つのタスクから構成される。
• 参考スコア（独自算出の注目度）: 24.032881992865697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose YOMI-Bench, a benchmark for evaluating kanji reading and phonological understanding of large language models (LLMs) for Japanese. In Japanese, a single kanji character often has multiple possible readings, making it difficult to infer the correct reading from surface-level text alone. Due to these linguistic characteristics, it is empirically known that LLMs exhibit low performance in kanji reading for Japanese. The proposed YOMI-Bench consists of four tasks specifically designed to evaluate kanji reading performance in Japanese. In our evaluation using YOMI-Bench, we assessed one multilingual open LLM, four Japanese-specific open LLMs, and five commercial LLMs. As a result, we found that even Japanese-specific models show low performance, and that commercial models also perform poorly on generation tasks that require consideration of kanji readings.
• Abstract（参考訳）: 日本語大言語モデル(LLM)の漢字読解と音韻的理解のベンチマークであるYOMI-Benchを提案する。 日本語では、一つの漢字文字が複数の読み出しが可能な場合が多く、表層テキストだけでは正しい読み出しを推測することが困難である。 これらの言語的特徴から,LLMは日本語の漢字読解能力が低いことが実証的に知られている。 提案するYOMI-Benchは,日本語の漢字読解能力を評価するための4つのタスクから構成される。 YOMI-Bench を用いた評価では,多言語オープン LLM と日本語固有のオープン LLM を4つ,商用 LLM を5つ評価した。 その結果、日本語固有のモデルでさえ性能が低く、また漢字の読みを考慮すべき生成タスクにおいても商業モデルは性能が良くないことが判明した。

関連論文リスト

• EXECUTE: A Multilingual Benchmark for LLM Token Understanding [54.70665106141121]
  複数の言語にまたがるテストでは、他の言語の課題が英語のように常に文字レベルにあるとは限らないことが分かる。 また、中国語、日本語、韓国語のサブ文字タスクについても検討し、LLMの文字成分に対する理解を評価する。
  論文  参考訳（メタデータ） (2025-05-23T11:56:48Z)
• PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts [85.78821098963607]
  PolyMathは18の言語と4つの難易度をカバーする多言語数学的推論ベンチマークである。 我々のベンチマークは、包括性、言語多様性、高品質な翻訳の難しさを保証する。
  論文  参考訳（メタデータ） (2025-04-25T15:39:04Z)
• Why We Build Local Large Language Models: An Observational Analysis from 35 Japanese and Multilingual LLMs [26.737806062804506]
  日本語,英語,多言語LLMを19種類の評価ベンチマークで評価した。 英語のテキストによる学習は,日本語の学習者のスコアを向上できることがわかった。 日本語のコード生成、算術的推論、常識、読解作業の能力を高めるために、特に日本語のテキストを訓練することは不要である。
  論文  参考訳（メタデータ） (2024-12-19T02:39:26Z)
• JMMMU: A Japanese Massive Multi-discipline Multimodal Understanding Benchmark for Culture-aware Evaluation [63.83457341009046]
  JMMMU(JMMMU、日本語MMMU)は、日本の文化状況に基づいて、専門家レベルのタスクでLMMを評価するために設計された、日本初の大規模ベンチマークである。 CAサブセットを用いて、日本語で評価すると、多くのLMMのパフォーマンス低下が観察される。 両サブセットを組み合わせることで,一部のLMMはCAサブセットでは良好に機能するが,CSサブセットでは機能しないことが明らかとなり,文化的理解の深みに欠ける日本語の理解が浅かった。
  論文  参考訳（メタデータ） (2024-10-22T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。