論文の概要: JieZi: A Large-Scale Expert-Audited Dataset and Benchmark for Ancient Chinese Character Exegesis
- arxiv url: http://arxiv.org/abs/2608.11741v1
- Date: Wed, 12 Aug 2026 07:30:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.489535
- Title: JieZi: A Large-Scale Expert-Audited Dataset and Benchmark for Ancient Chinese Character Exegesis
- Title（参考訳）: JieZi: 古代漢字エクセゲシスのための大規模専門家監査データセットとベンチマーク
- Abstract要約: 古代漢字エクセゲシス(英語: Ancient Chinese Character Exegesis、ACCE)は、学術的エクセゲシス過程をモデル化した視覚言語による質問応答タスクである。
ACCEは、基本的な文字識別、グリフ・フォーム分析、エクセゲシス(exegesis)、ダイアクロニック進化分析の4つの段階に分けられる。
JieZi-Datasetは、ACCE向けの最初の大規模、専門家によるVQAトレーニングデータセットで、500K以上のQAペアで構成されている。
JieZi-Benchは、人間の専門家によって構築、検証されたエクセゲシスプロセスに沿った評価ベンチマークである。
- 参考スコア（独自算出の注目度）: 43.26094253985753
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The scholarly exegesis of ancient Chinese characters demands integrating visual observation, linguistic analysis, and historical context. However, existing computational approaches focus narrowly on subtasks such as character recognition and retrieval, lacking the structured datasets and benchmarks required for comprehensive scholarly analysis. To address this limitation, we introduce Ancient Chinese Character Exegesis (ACCE), a vision-language question answering (VQA) task that models the scholarly exegesis process. ACCE is organized into four progressive levels: basic character identification, glyph-form analysis, meaning exegesis, and diachronic evolution analysis. To support this task, we construct two complementary resources. JieZi-Dataset is the first large-scale, expert-audited VQA training dataset for ACCE, comprising over 500K QA pairs. It is constructed via a pipeline that reduces factual errors by constraining generation with expert-designed templates and source-text references. Human verification is further applied at each key stage to ensure scholarly accuracy. JieZi-Bench is an evaluation benchmark aligned with the exegesis process, constructed and verified by human experts to ensure evaluation reliability. It consists of four levels with reference answers curated from authoritative lexicographic works held separate from the training data. Experiments on multimodal large language models show that current models perform well on basic identification but struggle with glyph analysis, semantic reasoning, and diachronic understanding. Fine-tuning on JieZi-Dataset substantially improves performance across all four levels. Code and dataset are available at https://github.com/Ran00w/JieZi.
- Abstract（参考訳）: 古代漢字の学究には、視覚的観察、言語学的分析、歴史的文脈の統合が求められている。
しかし、既存の計算手法は、総合的な学術分析に必要な構造化データセットやベンチマークが欠如しているため、文字認識や検索などのサブタスクに焦点を絞っている。
この制限に対処するために、学術的エクセゲシスプロセスをモデル化した視覚言語質問応答(VQA)タスクである古代漢字エクセゲシス(ACCE)を導入する。
ACCEは、基本的な文字識別、グリフ・フォーム分析、エクセゲシス(exegesis)、ダイアクロニック進化分析の4つの段階に分けられる。
このタスクを支援するために、我々は2つの補完的なリソースを構築した。
JieZi-Datasetは、ACCE向けの最初の大規模、専門家によるVQAトレーニングデータセットで、500K以上のQAペアで構成されている。
これは、専門家が設計したテンプレートとソーステキスト参照で生成を制約することで、事実エラーを低減するパイプラインを通じて構築される。
人間の検証は、学術的正確性を確保するために、各キーステージでさらに適用される。
JieZi-Benchは、評価信頼性を確保するために、人間の専門家によって構築、検証されたエクセゲシスプロセスに沿った評価ベンチマークである。
トレーニングデータとは別途保持された権威的レクシクログラフィーから算出した基準回答を持つ4つのレベルから構成される。
マルチモーダルな大言語モデルの実験では、現在のモデルは基本的な識別ではうまく機能するが、グリフ解析、セマンティック推論、ダイアクロニック理解に苦慮している。
JieZi-Datasetの微調整は、4つのレベルすべてでパフォーマンスを大幅に改善する。
コードとデータセットはhttps://github.com/Ran00w/JieZi.comで入手できる。
関連論文リスト
- OIDA-QA: A Multimodal Benchmark for Analyzing the Opioid Industry Documents Archive [50.468138755368805]
オピオイド危機は公衆衛生にとって重要な瞬間である。
UCSF-JHU Opioid Industry Documents Archive(OIDA)に公開されているデータと文書
本稿では,文書属性に応じて元のデータセットを整理することで,この問題に対処する。
論文 参考訳（メタデータ） (2025-11-13T03:27:32Z) - LC-Eval: A Bilingual Multi-Task Evaluation Benchmark for Long-Context Understanding [0.4837072536850575]
英語とアラビア語の長文理解を評価するために設計されたバイリンガル・マルチタスク評価ベンチマークである textbfLC-Eval を提案する。
このベンチマークには、各タスクのアラビア語と英語の両方のデータセットが含まれており、異なるテキストジャンルにわたるパフォーマンスの比較分析を可能にする。
論文 参考訳（メタデータ） (2025-10-19T10:15:42Z) - Text2Vis: A Challenging and Diverse Benchmark for Generating Multimodal Visualizations from Text [30.74255946385862]
テキスト・ツー・ビジュアル化モデルを評価するためのベンチマークであるText2Visを紹介する。
1,985のサンプルからなり、それぞれにデータテーブル、自然言語クエリ、短い回答、視覚化コード、注釈付きチャートがある。
これは大きなパフォーマンスギャップを明らかにし、重要な課題を強調し、将来の進歩に対する洞察を提供する。
論文 参考訳（メタデータ） (2025-07-26T14:59:04Z) - Chinese Grammatical Error Correction: A Survey [2.6914312267666705]
中国語の文法的誤り訂正(CGEC)は自然言語処理において重要な課題である。
CGECは、第二言語 (L2) とネイティブ (L1) の両方における自動筆記支援の需要の増加に対処している。
本調査は、データセット、アノテーションスキーム、評価手法、システム進歩など、CGEC研究の総合的なレビューを提供する。
論文 参考訳（メタデータ） (2025-04-01T17:14:50Z) - Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data [89.2410799619405]
実世界のデータを用いた統計的および因果推論において,大規模言語モデルの能力を評価するために,データベンチマークを用いた定量的推論を導入する。
このベンチマークは、教科書、オンライン学習教材、学術論文のデータシートを伴う411の質問のデータセットで構成されている。
データとテキストに対するモデルの量的推論能力を比較するために、ベンチマークを290のテキストのみの質問、すなわちQRTextで強化する。
論文 参考訳（メタデータ） (2024-02-27T16:15:03Z) - ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimodal Models [92.60282074937305]
テキストリッチな画像に対して文脈に敏感な推論を必要とする人為的な命令を特徴とする新しいデータセットであるConTextualを紹介した。
そこで本研究では,14の基盤モデルの性能評価実験を行い,人為的な性能基準を確立する。
GPT-4Vとヒトのパフォーマンスの30.8%の有意な性能差を観察した。
論文 参考訳（メタデータ） (2024-01-24T09:07:11Z) - SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。
SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
論文 参考訳（メタデータ） (2023-10-27T06:48:48Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳（メタデータ） (2023-07-16T15:18:25Z) - SLUE: New Benchmark Tasks for Spoken Language Understanding Evaluation
on Natural Speech [44.68649535280397]
音声言語理解評価(SLUE)のための一連のベンチマークタスクを提案する。
SLUEは限定的なラベル付きトレーニングセットとそれに対応する評価セットで構成されている。
本稿では,SLUEベンチマークスイートの第1フェーズについて述べる。
本稿では,VoxCelebデータセットとVoxPopuliデータセットのサブセットに対する新たな書き起こしとアノテーション,ベースラインモデルの評価指標と結果,ベースラインを再現し,新しいモデルを評価するためのオープンソースツールキットを提供する。
論文 参考訳（メタデータ） (2021-11-19T18:59:23Z) - Quda: Natural Language Queries for Visual Data Analytics [33.983060903399554]
我々は、V-NLIが自由形式の自然言語から解析タスクを認識するのを支援するために、Qudaと呼ばれる新しいデータセットを提案する。
私たちのデータセットには14,035ドルの多様なユーザクエリが含まれており、それぞれに1つまたは複数の分析タスクがアノテートされている。
この研究は、解析的タスクを認識するための大規模コーパスを構築する最初の試みである。
論文 参考訳（メタデータ） (2020-05-07T05:35:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。