論文の概要: Lexara-RF: Reference-Free Metrics for Evaluating Conversational Visual Analytics Agents

• arxiv url: http://arxiv.org/abs/2609.17842v1
• Date: Tue, 15 Sep 2026 21:02:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.543689
• Title: Lexara-RF: Reference-Free Metrics for Evaluating Conversational Visual Analytics Agents
• Title（参考訳）: Lexara-RF:対話型ビジュアル分析エージェントの評価のための基準フリーメトリクス
• Abstract要約: 会話ビジュアル分析(CVA)エージェントは、オープンなクエリから可視化と自然言語の説明を生成する。 本稿では,プロンプト,データ,モデル応答のみを用いてCVA出力をスコアする参照フリーなメトリクスセットであるLexara-RFを紹介する。 CVAテストケースのヒト評価コーパスでは、レキサラRFは基準ベースの定式化に匹敵するアライメントを達成し、表面相似性NLGベースラインを上回り、高精度で構造的に基底された障害をローカライズする。
• 参考スコア（独自算出の注目度）: 15.251820893047467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conversational visual analytics (CVA) agents powered by large language models generate visualizations and natural-language explanations from open-ended queries. Evaluating these multimodal outputs is challenging: curated reference benchmarks are costly to author, cannot comprehensively capture the space of valid responses, and are unavailable in production. Building on the Lexara evaluation framework, we introduce Lexara-RF, a reference-free set of metrics that scores CVA outputs using only the prompt, data, and model response. We reformulate evaluation as verification: 13 metrics operationalize visualization design theory and Gricean cooperative principles as computable consistency, intent-alignment, and design validity checks. On a human-rated corpus of CVA test-cases, Lexara-RF achieves alignment comparable to reference-based formulations, outperforms surface-similarity NLG baselines, and localizes structurally grounded failures with high accuracy.
• Abstract（参考訳）: 大規模言語モデルを利用した会話型ビジュアル分析(CVA)エージェントは、オープンなクエリから可視化と自然言語の説明を生成する。 キュレートされた参照ベンチマークは作成にコストがかかり、有効なレスポンスの空間を包括的にキャプチャできず、本番環境では利用できない。 Lexara評価フレームワーク上に構築されたLexara-RFは,プロンプト,データ,モデル応答のみを用いてCVA出力をスコアする参照フリーなメトリクスセットである。 13のメトリクスで可視化設計理論とGricean協力原則を計算可能な整合性、意図調整、設計妥当性チェックとして運用する。 CVAテストケースのヒト評価コーパスでは、レキサラRFは基準ベースの定式化に匹敵するアライメントを達成し、表面相似性NLGベースラインを上回り、高精度で構造的に基底された障害をローカライズする。

関連論文リスト

• BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation [11.37493959290663]
  本稿では,参照型生成環境における回答の正当性を評価するためのエンコーダ駆動方式であるBERT-as-a-Judgeを紹介する。 より大規模なLLM審査員のパフォーマンスに適合しながら,語彙ベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-04-10T17:08:40Z)
• On the Factual Consistency of Text-based Explainable Recommendation Models [2.2153783542347805]
  テキストベースの説明可能なレコメンデータの事実整合性を評価するための包括的フレームワークを提案する。 レビューから原子説明文を抽出するためにLSMを用いたプロンプトベースパイプラインを設計する。 LLMとNLIをベースとした手法を組み合わせたステートメントレベルのアライメントメトリクスを提案する。
  論文  参考訳（メタデータ） (2025-12-30T17:25:15Z)
• REFLEX: Reference-Free Evaluation of Log Summarization via Large Language Model Judgment [0.0]
  本稿では,大言語モデル(LLM)に基づくログ要約のための基準フリー評価指標REFLEXを紹介する。 我々は,REFLEXが複数のログ要約データセットに対して安定かつ解釈可能かつきめ細かな評価を行い,より効果的にモデル出力を従来の指標と区別することを示した。
  論文  参考訳（メタデータ） (2025-11-06T23:52:36Z)
• CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
  CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。 トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。 また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
  論文  参考訳（メタデータ） (2025-10-03T08:50:21Z)
• RAGXplain: From Explainable Evaluation to Actionable Guidance of RAG Pipelines [0.7373617024876725]
  RAGXplainは、RAGのパフォーマンスを定量化し、これらの評価を明確な洞察に変換する評価フレームワークである。 したがって、RAGXplainは定量的評価と実用的な最適化を橋渡しし、ユーザーがAIシステムを理解し、信頼し、拡張することを可能にする。
  論文  参考訳（メタデータ） (2025-05-18T17:25:34Z)
• StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
  StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。 評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。 StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
  論文  参考訳（メタデータ） (2024-12-23T22:08:40Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Not All Metrics Are Guilty: Improving NLG Evaluation by Diversifying References [123.39034752499076]
  Div-Refは、参照数を増やして評価ベンチマークを強化する方法である。 本研究では,参照表現の多様化が自動評価と人的評価の相関性を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-05-24T11:53:29Z)
• Evaluate What You Can't Evaluate: Unassessable Quality for Generated Response [56.25966921370483]
  大規模な言語モデルに基づく参照不要評価器の使用には課題がある。 参照なし評価器は、異なるセマンティクス応答を持つオープンな例により適している。 対話応答の質を評価するため, LLM に基づく推論不要評価器の使用にはリスクがある。
  論文  参考訳（メタデータ） (2023-05-24T02:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。