論文の概要: Local Brushstroke Quality Assessment via Vision-Language Feedback

• arxiv url: http://arxiv.org/abs/2607.16330v1
• Date: Wed, 15 Jul 2026 18:22:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.114572
• Title: Local Brushstroke Quality Assessment via Vision-Language Feedback
• Title（参考訳）: ビジョンランゲージフィードバックによる局所ブラシストローク品質評価
• Abstract要約: 本稿では,マルチモーダルLLMが書道における局所的な筆跡品質を評価し,教育的に有用な自然言語フィードバックを生成できるかどうかを考察する。 本研究では、3つのマルチモーダル LLM が5点順序尺度を用いて事前画像ペアの評価を行い、その出力を3人の専門書家によって割り当てられたスコアと比較する評価枠組みを構築した。 さらに,予備条件としてClaudeのRAG(Retrieval-Augmented Generation)を検討した結果,GPT-4oが最高性能(MAE=0.885)の絶対スコア精度(MAE)が得られた。
• 参考スコア（独自算出の注目度）: 16.561215035945423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates whether multimodal LLMs can evaluate local brushstroke quality in calligraphy and generate educationally useful natural language feedback. We construct an evaluation framework in which three multimodal LLMs (GPT-4o, Claude Sonnet 4, and Gemini 2.5 Flash) assess before-after image pairs of calligraphic works using a five-point ordinal scale, and compare their outputs against scores assigned by three expert calligraphers. We additionally examine a Retrieval-Augmented Generation (RAG) variant of Claude as a preliminary condition. Results show that all models achieve useful levels of absolute score accuracy (MAE), with GPT-4o performing best (MAE = 0.885). However, none of the models produce statistically significant overall rank correlations with human experts (Kendall's tau). Vocabulary analysis of generated rationales reveals characteristic evaluative biases in each model, and RAG is shown to improve rank correlation while worsening absolute accuracy, constituting an important negative result for text-based rule injection.
• Abstract（参考訳）: 本稿では,マルチモーダルLLMが書道における局所的な筆跡品質を評価し,教育的に有用な自然言語フィードバックを生成できるかどうかを考察する。 我々は,3つのマルチモーダルLLM(GPT-4o,Claude Sonnet 4,Gemini 2.5 Flash)を5点順序尺度を用いて事前画像対の評価を行い,その出力を3人の専門書家によって割り当てられたスコアと比較する評価枠組みを構築した。 また,予備条件としてClaudeのRAG(Retrieval-Augmented Generation)変異についても検討する。 その結果, GPT-4o が最高性能 (MAE = 0.885) の絶対スコア精度 (MAE) が得られた。 しかしながら、どちらのモデルも統計学的に有意な総合的なランク相関を人間の専門家(ケンドールのタウ)と生成しない。 生成した有理量の語彙解析により各モデルの特徴的評価バイアスが明らかとなり、RAGは絶対精度を低下させながらランク相関を改善することが示され、テキストベースの規則注入において重要な負の結果を構成する。

関連論文リスト

• Large language models for post-publication research evaluation: Evidence from expert recommendations and citation indicators [2.952559770088323]
  大規模言語モデル(LLM)は、テキストコンテンツに基づいた自動研究評価のための新たな機会を提供する。 本研究では,LLMが専門家の判断や引用に基づく指標に対して出力をベンチマークすることで,ポストパブリケーションのピアレビュータスクをサポートできるかを検討する。
  論文  参考訳（メタデータ） (2026-03-27T11:32:18Z)
• An Analysis of Architectural Impact on LLM-based Abstract Visual Reasoning: A Systematic Benchmark on RAVEN-FAIR [0.0]
  GPT-4.1-Miniは全アーキテクチャで最高精度を達成した。 それぞれのモデルは、アーキテクチャ設計に対して異なる感度パターンを示し、推論の有効性がモデル固有のものであることを強調した。
  論文  参考訳（メタデータ） (2025-11-14T22:50:22Z)
• Quantifying Label-Induced Bias in Large Language Model Self- and Cross-Evaluations [0.0]
  大規模言語モデル (LLM) は、テキスト品質の評価器としてますます多くデプロイされている。 本研究では,ChatGPT,Gemini,Claudeの3つのLLMにおける自己モデルと相互モデルの評価の系統的バイアスについて検討した。
  論文  参考訳（メタデータ） (2025-08-28T18:59:23Z)
• Self-Rationalization in the Wild: A Large Scale Out-of-Distribution Evaluation on NLI-related tasks [59.47851630504264]
  自由文の説明は表現力があり理解しやすいが、多くのデータセットには注釈付き説明データがない。 我々は、T5-LargeモデルとOLMo-7Bモデルを微調整し、微調整データ品質、微調整サンプル数、少数ショット選択方法の影響を評価した。 モデルは、自然言語推論(NLI)、ファクトチェック、抽象的な要約における幻覚検出の3つのタスクにまたがる19の多様なOODデータセットで評価される。
  論文  参考訳（メタデータ） (2025-02-07T10:01:32Z)
• Language Model Preference Evaluation with Multiple Weak Evaluators [89.90733463933431]
  PGEDは,複数のモデルに基づく評価器を用いて嗜好グラフを構築し,非循環的非競合性評価結果に対してこれらのグラフをアンサンブルし,デノテーズする手法である。 1)評価のためのモデルランキング、2)テスト時間スケーリングのための応答選択、3)モデル微調整のためのデータ選択である。
  論文  参考訳（メタデータ） (2024-10-14T01:57:25Z)
• Direct Judgement Preference Optimization [79.54459973726405]
  我々は、他のモデルのアウトプットを評価し、批判するために、生成的判断として大きな言語モデル(LLM)を訓練する。 我々は,異なるユースケースに対する選好ペアの収集に3つのアプローチを採用し,それぞれが異なる視点から生成判断を改善することを目的としている。 提案モデルは,位置や長さの偏りなどの固有バイアスに強く対応し,実践者が指定した評価プロトコルに柔軟に適用し,下流ジェネレータモデルを改善する上で有用な言語フィードバックを提供する。
  論文  参考訳（メタデータ） (2024-09-23T02:08:20Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• Evaluation Metrics in the Era of GPT-4: Reliably Evaluating Large Language Models on Sequence to Sequence Tasks [9.801767683867125]
  我々は,3つのNLPベンチマークの予備的およびハイブリッドな評価を,自動評価と人的評価の両方を用いて提供する。 ChatGPTは、ほとんどのメトリクスにおいて、人間のレビュアーによって、他の人気のあるモデルよりも一貫して優れています。 また、人間のレビュアーは、最高のモデルの出力よりも金の基準を格段に悪く評価し、多くの人気のあるベンチマークの品質が劣っていることを示している。
  論文  参考訳（メタデータ） (2023-10-20T20:17:09Z)
• Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
  本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。 このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
  論文  参考訳（メタデータ） (2023-08-03T12:47:17Z)
• A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
  音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。 モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。 一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
  論文  参考訳（メタデータ） (2023-07-25T17:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。