論文の概要: AnnoBench: A Benchmark for Visualization Annotation Generation
- arxiv url: http://arxiv.org/abs/2607.25911v1
- Date: Tue, 28 Jul 2026 16:04:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.912137
- Title: AnnoBench: A Benchmark for Visualization Annotation Generation
- Title（参考訳）: AnnoBench: ビジュアライゼーションアノテーション生成のためのベンチマーク
- Abstract要約: 可視化アノテーションのベンチマークであるAnnoBenchを紹介する。
これは、この領域の固有の課題を構造化され、テスト可能な方法で実現している。
ベンチマークを4つの1-factor-at-a-time実験で評価した。
- 参考スコア（独自算出の注目度）: 3.0153670721915966
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Annotation is among the most demanding visualization tasks to automate, as it simultaneously requires correctly navigating visual, semantic, and stylistic constraints. Failure to meet any of these conditions severely undermines the utility of an annotation, rendering it challenging to read, inaccurate, or visually discordant. Despite a growing body of annotation tools and automations, no existing benchmark or evaluation framework tests whether these conditions are met because of their scope and annotation not being the focus of their studies. We introduce AnnoBench, a benchmark for visualization annotation that materializes the inherent challenges of this domain in a structured and testable manner. AnnoBench pairs visualizations from professional data journalism and visualization galleries with annotation tasks, spanning four representation formats, five chart description conditions, and two prompt specification levels. The benchmark is executed via VLM-as-a-judge, using models aligned with manual human assessment. We evaluate the benchmark via four one-factor-at-a-time experiments, exploring the effects of input representation, semantic context, and prompt specificity, and model selection on annotation quality. This work provides a foundation for advancing annotation automation, tooling, and visualization-generation pipelines.
- Abstract（参考訳）: アノテーションは、ビジュアル、セマンティック、スタイリスティックな制約を正しくナビゲートする必要があるため、自動化するために最も要求される視覚化タスクの1つである。
これらの条件のいずれかを満たすことができないと、アノテーションの有用性が著しく損なわれ、読みやすく、不正確で、視覚的に不協和である。
アノテーションツールや自動化が成長しているにも関わらず、それらのスコープとアノテーションが研究の焦点ではないため、これらの条件が満たされているかどうか、既存のベンチマークや評価フレームワークのテストは行われていない。
我々は、このドメインの固有の課題を構造化されテスト可能な方法で具体化する視覚化アノテーションのベンチマークであるAnnoBenchを紹介します。
AnnoBenchは、プロのデータジャーナリズムと視覚化ギャラリーからの視覚化とアノテーションタスクを組み合わせ、4つの表現形式、5つのチャート記述条件、2つの即時仕様レベルにまたがる。
ベンチマークはVLM-as-a-judgeを通じて実行され、手動による人的評価と整合したモデルを使用する。
このベンチマークを4つの1-factor-at-a-time実験により評価し、入力表現、意味的文脈、即時特異性、モデル選択がアノテーションの品質に与える影響について検討した。
この作業は、アノテーションの自動化、ツーリング、可視化生成パイプラインの進化のための基盤を提供する。
関連論文リスト
- OmniEdit-Bench: A Comprehensive Benchmark for Instruction-based Video Editing [53.21868575804758]
命令ベースのビデオ編集(IVE)のための包括的かつ構造化されたベンチマークを導入する。
本ベンチマークでは,編集タスクを空間,時間,音声,参照ベースの編集など,複数のビデオ特化次元に分解する。
本研究では,4つの相補的な次元(精度,保存性,リアリズム,一貫性)から編集品質を評価する評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-05T16:58:48Z) - Beyond Referring Expressions: Scenario Comprehension Visual Grounding [18.49037321302958]
既存のベンチマークは、主に画像領域とリテラル参照表現のアライメントを評価する。
シナリオベースの視覚的グラウンドの補完的かつより困難な設定について検討し、明確な命名ではなく、ターゲットを役割、意図、文脈から推論する必要がある。
この設定のために設計されたベンチマークであるReferring Scenario(RSC)を紹介する。RCCには、約31kのトレーニング例、4kのドメイン内テスト例と、見えないオブジェクトカテゴリで分割された3kのアウト・オブ・ディストリビューションが含まれている。
論文 参考訳（メタデータ） (2026-04-02T17:59:08Z) - HighlightBench: Benchmarking Markup-Driven Table Reasoning in Scientific Documents [88.16322879912458]
マルチモーダルな大言語モデル (MLLM) は文書理解においてかなりの進歩を遂げているが、明示的な論理ディレクティブとしてそのような方法を扱う能力はいまだ探索されていない。
マークアップ駆動型テーブル理解のための診断ベンチマークであるHighlightBenchを導入し,評価を5つのタスクファミリに分解する。
構成された出力制約の下では、視覚的手がかりがシンボリック推論と一貫して一致しなければならない場合、強いモデルでさえ不安定であることを示す。
論文 参考訳（メタデータ） (2026-03-25T06:15:40Z) - VISTA-Bench: Do Vision-Language Models Really Understand Visualized Text as Well as Pure Text? [51.02924254085878]
VLM(Vision-Language Models)は、テキスト入力と視覚入力のクロスモーダル理解において、優れたパフォーマンスを実現している。
VISTA-Benchは、マルチモーダル認識、推論、および非モーダル理解領域のベンチマークである。
論文 参考訳（メタデータ） (2026-02-04T17:48:55Z) - AI-Boosted Video Annotation: Assessing the Process Enhancement [0.4893345190925178]
この研究は、アノテーションプロセスの実践的意味、AIコンポーネントの統合、そしてその成果の評価を掘り下げている。
Label Studio と AI を利用したゼロショット事前アノテーションを用いたシングルイテレーション方式を実装した。
また,類似のアノテーションを持つアノテーションの70%に対して,アノテーション時間を35%短縮した。
論文 参考訳（メタデータ） (2025-10-20T16:10:11Z) - Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。
注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。
被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
論文 参考訳（メタデータ） (2025-09-26T07:11:55Z) - GRAFT: GRaPH and Table Reasoning for Textual Alignment -- A Benchmark for Structured Instruction Following and Visual Reasoning [0.0]
GRAFTは、命令追従型視覚推論と視覚テキストアライメントのモデルを評価するための構造化マルチモーダルベンチマークである。
生成されたチャートと、Pythonライブラリで作成され、データセマンティクスの制御と明確性を保証する。
論文 参考訳（メタデータ） (2025-08-21T16:13:49Z) - Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems [0.0]
我々は、スペルと文法的誤りを識別するアノテーションと、議論的なコンポーネントを強調するアノテーションの2つのタイプを統合する。
この手法が現実世界のシナリオにどのように適用できるかを説明するために、アノテーションを生成するために2つのLCMを使用し、スペル修正に使用される生成言語モデルと、議論的要素を識別およびマークするために訓練されたエンコーダベースのトークン分類器を用いています。
論文 参考訳（メタデータ） (2025-05-28T18:39:56Z) - Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing [84.16442052968615]
RISEBenchはReasoning-Informed ViSual Editing (RISE)の最初のベンチマークである。
RISEBenchは、時間、因果、空間、論理的推論の4つの主要な推論カテゴリに焦点を当てている。
オープンソースモデルとプロプライエタリモデルの両方を含む,9つの目立った視覚編集モデルを評価する実験を行った。
論文 参考訳（メタデータ） (2025-04-03T17:59:56Z) - CAPability: A Comprehensive Visual Caption Benchmark for Evaluating Both Correctness and Thoroughness [30.44039177018447]
CAPabilityは、6つの重要なビューにまたがる12次元にわたる視覚的キャプションを評価するための総合的なベンチマークである。
我々は、生成したキャプションを評価するために、視覚要素アノテーションで1万1千近い人注画像や動画をキュレートした。
論文 参考訳（メタデータ） (2025-02-19T07:55:51Z) - Beyond Coarse-Grained Matching in Video-Text Retrieval [50.799697216533914]
きめ細かい評価のための新しいアプローチを導入する。
テストキャプションを自動的に生成することで,既存のデータセットにアプローチを適用することができる。
きめ細かい評価実験は、このアプローチがきめ細かな違いを理解するモデルの能力を高めることを実証している。
論文 参考訳（メタデータ） (2024-10-16T09:42:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。