論文の概要: Benchmark It Yourself (BIY): Preparing a Dataset and Benchmarking AI Models for Scatterplot-Related Tasks

• arxiv url: http://arxiv.org/abs/2510.06071v1
• Date: Tue, 07 Oct 2025 15:59:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.338834
• Title: Benchmark It Yourself (BIY): Preparing a Dataset and Benchmarking AI Models for Scatterplot-Related Tasks
• Title（参考訳）: Benchmark It Yourself (BIY): Scatterplot関連タスクのためのデータセットの準備とベンチマークAIモデル
• Authors: João Palmeiro, Diogo Duarte, Rita Costa, Pedro Bizarro,
• Abstract要約: 6つのデータジェネレータと17のチャート設計から18,000以上の散乱体を合成した注釈付きデータセットを導入する。 我々は5つの異なるタスクでNショットプロンプトを使用してOpenAIとGoogleのプロプライエタリモデルを評価する。
• 参考スコア（独自算出の注目度）: 5.936946810744264
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: AI models are increasingly used for data analysis and visualization, yet benchmarks rarely address scatterplot-specific tasks, limiting insight into performance. To address this gap for one of the most common chart types, we introduce a synthetic, annotated dataset of over 18,000 scatterplots from six data generators and 17 chart designs, and a benchmark based on it. We evaluate proprietary models from OpenAI and Google using N-shot prompting on five distinct tasks derived from annotations of cluster bounding boxes, their center coordinates, and outlier coordinates. OpenAI models and Gemini 2.5 Flash, especially when prompted with examples, are viable options for counting clusters and, in Flash's case, outliers (90%+ Accuracy). However, the results for localization-related tasks are unsatisfactory: Precision and Recall are near or below 50%, except for Flash in outlier identification (65.01%). Furthermore, the impact of chart design on performance appears to be a secondary factor, but it is advisable to avoid scatterplots with wide aspect ratios (16:9 and 21:9) or those colored randomly. Supplementary materials are available at https://github.com/feedzai/biy-paper.
• Abstract（参考訳）: AIモデルは、データ分析や視覚化にますます使用されているが、ベンチマークでは、スキャッタープロット固有のタスクにほとんど対処せず、パフォーマンスに関する洞察を制限している。 このギャップに対処するため、6つのデータジェネレータと17のチャート設計から18,000以上の散布されたデータセットと、それに基づくベンチマークを導入する。 我々は,クラスタ境界ボックスのアノテーション,その中心座標,および外部座標から派生した5つのタスクに対して,Nショットを用いたOpenAIとGoogleのプロプライエタリモデルを評価する。 OpenAIモデルとGemini 2.5 Flashは、特に例を挙げると、クラスタのカウントとFlashの場合、アウトリーチ(90%以上の精度)に有効な選択肢である。 しかし、ローカライゼーションに関連するタスクの結果は不満足である: 精度とリコールは、外れ値識別(65.01%)のFlashを除いて、50%以下である。 さらに、チャート設計が性能に与える影響は二次的な要因のように見えるが、広いアスペクト比(16:9と21:9)またはランダムに色付けされるものを避けることが望ましい。 追加資料はhttps://github.com/feedzai/biy-paperで入手できる。

関連論文リスト

• A Comprehensive Evaluation of YOLO-based Deer Detection Performance on Edge Devices [6.486957474966142]
  鹿の侵入による農業の経済的損失は、アメリカで毎年数億ドルに上っていると推定され、伝統的な緩和戦略の不適切さを浮き彫りにした。 正確で効率的な鹿検出を必要とするインテリジェントで自律的なソリューションには、重要なニーズがある。 本研究では,シカ検出のための最先端深層学習モデルの総合的評価を行う。
  論文  参考訳（メタデータ） (2025-09-24T17:01:50Z)
• SynChart: Synthesizing Charts from Language Models [50.73888371511983]
  本研究は,LLMをデータ生成に単独で活用し,チャート理解に焦点をあてた競合するマルチモダリティモデルを開発する可能性を探る。 約400万の多彩なチャートイメージと7500万以上の高密度アノテーションを含む大規模チャートデータセットであるSynChartを構築した。 我々は,このデータセットを用いて4.2Bのグラフエキスパートモデルを訓練し,GPT-4Vを超え,ChartQAタスクでほぼGPT-4Oの性能を達成した。
  論文  参考訳（メタデータ） (2024-09-25T00:18:12Z)
• Deep Generative Models for Subgraph Prediction [10.56335881963895]
  本稿では,深層グラフ学習のための新しい課題として,サブグラフクエリを提案する。 サブグラフクエリは、観測されたサブグラフで表される証拠に基づいて、ターゲットサブグラフのコンポーネントを共同で予測する。 我々は,確率論的深部グラフ生成モデルを用いて,サブグラフクエリに回答する。
  論文  参考訳（メタデータ） (2024-08-07T19:24:02Z)
• Does Graph Distillation See Like Vision Dataset Counterpart? [26.530765707382457]
  本稿では,従来の構造情報を合成データにブロードキャストするSGDD(Structure-Broadcasting Graph dataset Distillation)方式を提案する。 9つのデータセットにまたがって提案したSGDDを検証する。
  論文  参考訳（メタデータ） (2023-10-13T15:36:48Z)
• Learnable Graph Matching: A Practical Paradigm for Data Association [74.28753343714858]
  これらの問題に対処するための一般的な学習可能なグラフマッチング法を提案する。 提案手法は,複数のMOTデータセット上での最先端性能を実現する。 画像マッチングでは,一般的な屋内データセットであるScanNetで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-03-27T17:39:00Z)
• Location-Free Scene Graph Generation [45.366540803729386]
  シーングラフ生成(SGG)は視覚的理解タスクであり、シーンをエンティティのグラフとして記述し、互いに関連付けることを目的としている。 既存の作業は、バウンディングボックスやセグメンテーションマスクといった形で位置ラベルに依存しており、アノテーションのコストが増加し、データセットの拡張が制限されている。 我々は、この依存関係を破り、位置のないシーングラフ生成(LF-SGG)を導入する。 本課題は, 空間的局所化を明示的に計算することなく, 実体のインスタンスと関係性を予測することを目的とする。
  論文  参考訳（メタデータ） (2023-03-20T08:57:45Z)
• Model Inversion Attacks against Graph Neural Networks [65.35955643325038]
  グラフニューラルネットワーク(GNN)に対するモデル反転攻撃について検討する。 本稿では,プライベートトレーニンググラフデータを推測するためにGraphMIを提案する。 実験の結果,このような防御効果は十分ではないことが示され,プライバシー攻撃に対するより高度な防御が求められている。
  論文  参考訳（メタデータ） (2022-09-16T09:13:43Z)
• From Unsupervised to Few-shot Graph Anomaly Detection: A Multi-scale Contrastive Learning Approach [26.973056364587766]
  グラフデータからの異常検出は、ソーシャルネットワーク、金融、eコマースなど、多くのアプリケーションにおいて重要なデータマイニングタスクである。 マルチスケールcONtrastive lEarning(略してANEMONE)を用いた新しいフレームワーク, graph Anomaly dEtection フレームワークを提案する。 グラフニューラルネットワークをバックボーンとして、複数のグラフスケール(ビュー)から情報をエンコードすることで、グラフ内のノードのより良い表現を学習する。
  論文  参考訳（メタデータ） (2022-02-11T09:45:11Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• GraphAnoGAN: Detecting Anomalous Snapshots from Attributed Graphs [36.00861758441135]
  異常なスナップショットランキングフレームワークであるGraphAnoGANを提案する。 2つのコアコンポーネント - 生成モデルと識別モデル - で構成されている。 4つの実世界のネットワークでの実験では、GraphAnoGANは6つのベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2021-06-29T15:35:37Z)
• Efficient Robustness Certificates for Discrete Data: Sparsity-Aware Randomized Smoothing for Graphs, Images and More [85.52940587312256]
  本稿では,初期作業を想定したランダム化平滑化フレームワークに基づくモデル非依存の証明書を提案する。 このアプローチがさまざまなモデル、データセット、タスクに対して有効であることを示します。
  論文  参考訳（メタデータ） (2020-08-29T10:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。