論文の概要: Neo-Classic: A Benchmark for Evaluating Linguistic-Aesthetic Reasoning in Classical Chinese Poetry
- arxiv url: http://arxiv.org/abs/2609.19154v1
- Date: Wed, 22 Jul 2026 05:54:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.616373
- Title: Neo-Classic: A Benchmark for Evaluating Linguistic-Aesthetic Reasoning in Classical Chinese Poetry
- Title（参考訳）: 新古典:古典漢詩における言語的美的推論の評価のためのベンチマーク
- Abstract要約: Neo-Classicは、建設学者のOut-of-Sampleデータセットと一連の逆理解プローブを組み合わせた評価ベンチマークである。
Qwen3-Max, Gemini-3-Pro, DeepSeek-V3.2を含む最先端モデルについて, 階層的制約満足度テストを目的とした5つの行動プローブを用いて評価を行った。
- 参考スコア（独自算出の注目度）: 16.133435332608208
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Large Language Models (LLMs) achieve high accuracy on established Classical Chinese Poetry benchmarks, it remains challenging to distinguish transferable Linguistic-Aesthetic Reasoning from reliance on familiar pre-training patterns. To address this issue, we introduce Neo-Classic, an evaluation benchmark that combines a constructionist Out-of-Sample (OOS) dataset with a suite of reverse understanding probes. Unlike traditional benchmarks that rely on verification or generation over historical corpora, Neo-Classic comprises strictly metrical poetry authored by contemporary experts, reducing the possibility of direct retrieval. We evaluate state-of-the-art models, including Qwen3-Max, Gemini-3-Pro, and DeepSeek-V3.2, across five behavioral probes designed to test hierarchical constraint satisfaction. Our results reveal two primary limitations. First, a performance gap of 20 to 50 percent emerges when models transition from historical to contemporary texts. Second, models exhibit substantial difficulties in discourse-level ordering tasks, with standard accuracy remaining low (0 to 13 percent). Although expert-level guidance improves the performance of reasoning-enhanced models to 36 percent, a notable gap with human experts persists. These findings suggest that while current LLMs capture local formal patterns, they struggle with global hierarchical planning required for robust Linguistic-Aesthetic Reasoning.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、確立された古典中国語詩のベンチマークで高い精度を達成しているが、翻訳可能な言語-美的推論を、慣れ親しんだ事前学習パターンに依存するものと区別することは依然として困難である。
この問題に対処するために,建設学者のOut-of-Sample(OOS)データセットと一連の逆理解プローブを組み合わせた評価ベンチマークであるNeo-Classicを導入する。
歴史的コーパスの検証や生成に頼っている伝統的なベンチマークとは異なり、ネオクラシックは、現代の専門家によって書かれた厳密なメートル法的な詩を含んでおり、直接検索の可能性を減らしている。
Qwen3-Max, Gemini-3-Pro, DeepSeek-V3.2を含む最先端モデルについて, 階層的制約満足度テストを目的とした5つの行動プローブを用いて評価を行った。
私たちの結果は2つの主要な限界を明らかにします。
まず、モデルが歴史的テキストから現代テキストに移行すると、20から50%のパフォーマンスギャップが生じる。
第二に、モデルは談話レベルの注文タスクにおいてかなりの困難を示し、標準精度は低い(0～13%)。
専門家レベルのガイダンスは、推論強化モデルのパフォーマンスを36%に改善するが、人間の専門家との顕著なギャップは持続する。
これらの結果から,現在のLLMは局所的な形式的パターンを捉えるが,言語・審美的推論に必要なグローバルな階層的計画に苦慮していることが示唆された。
関連論文リスト
- Beyond Fluency: A Rubric-Based Benchmark for Evaluating Saudi Dialect and Cultural Competence in Large Language Models [0.37331950863394864]
サウジアラビア方言の古風なベンチマークを示す。
9カテゴリの分類で466のエラー事例を分類する。
一貫性に反するトレードオフとモデル固有のエラーシグネチャを観察する。
論文 参考訳（メタデータ） (2026-08-30T19:31:35Z) - The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。
まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。
第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。
第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
論文 参考訳（メタデータ） (2026-04-22T06:19:46Z) - Unmasking the Factual-Conceptual Gap in Persian Language Models [0.8180770164225369]
迷信と慣習に焦点をあてたベンチマークであるDivanBenchを導入し、単純な論理的推論に抵抗する任意の文脈依存ルールを紹介した。
我々はペルシャのLLMを7つ評価し、3つの重大な障害を明らかにした。
論文 参考訳（メタデータ） (2026-02-19T18:42:46Z) - Gesture Generation (Still) Needs Improved Human Evaluation Practices: Insights from a Community-Driven State-of-the-Art Benchmark [55.41250396114216]
音声認識による3Dジェスチャー生成における人的評価の実践について検討する。
本稿では,広範に使用されているBEAT2モーションキャプチャーデータセットの詳細な評価プロトコルを提案する。
論文 参考訳（メタデータ） (2025-11-03T05:17:28Z) - SLRTP2025 Sign Language Production Challenge: Methodology, Results, and Future Work [87.9341538630949]
第1回手話生産チャレンジはCVPR 2025で第3回SLRTPワークショップの一環として開催された。
コンペティションの目的は、音声言語文からスケルトンポーズのシーケンスに変換するアーキテクチャを評価することである。
本稿では,挑戦設計と入賞方法について述べる。
論文 参考訳（メタデータ） (2025-08-09T11:57:33Z) - Fùxì: A Benchmark for Evaluating Language Models on Ancient Chinese Text Understanding and Generation [20.87296508045343]
我々は21種類のタスクに対する理解と生成の両方の能力を評価する総合的なベンチマークであるFuxiを紹介する。
我々は,理解タスクと生成タスクの間に大きなパフォーマンスギャップを生じさせ,モデルが有望な結果を得るためには理解が難しいが,生成タスクではかなり苦労する。
本研究は,古代中国のテキスト処理における現状の限界に注目し,今後のモデル開発への洞察を提供するものである。
論文 参考訳（メタデータ） (2025-03-20T04:26:40Z) - Correlating and Predicting Human Evaluations of Language Models from Natural Language Processing Benchmarks [47.40240774236047]
4つのChat Llama 2モデルと1k以上のシングルターンと2k以上の人間のアノテータからの2k以上のマルチターンダイアログの広範な人間の嗜好を比較した。
ほとんどのNLPベンチマークは、人間の評価と強く相関しており、安価で自動化されたメトリクスが、驚くほど信頼性の高い人間の嗜好予測として役立つことを示唆している。
論文 参考訳（メタデータ） (2025-02-24T01:01:02Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳（メタデータ） (2023-11-14T18:59:15Z) - Idiomatic Expression Identification using Semantic Compatibility [8.355785779504869]
文が慣用的表現を持っているかどうかを検知し,それを局所化するタスクについて検討する。
本稿では,これらの表現を識別するためのアテンションフロー機構を備えた多段階ニューラルアーキテクチャを提案する。
このモデルの健全な特徴は、トレーニング中に見えないイディオムを識別できることであり、競争ベースラインよりも1.4%から30.8%向上している。
論文 参考訳（メタデータ） (2021-10-19T15:44:28Z) - Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。
そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
論文 参考訳（メタデータ） (2021-09-09T10:10:29Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳（メタデータ） (2020-12-10T01:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。