論文の概要: SEVA: Leveraging sketches to evaluate alignment between human and machine visual abstraction

• arxiv url: http://arxiv.org/abs/2312.03035v1
• Date: Tue, 5 Dec 2023 13:54:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 17:13:31.241724
• Title: SEVA: Leveraging sketches to evaluate alignment between human and machine visual abstraction
• Title（参考訳）: SEVA:人間と機械の視覚的抽象化の整合性を評価するスケッチを活用する
• Authors: Kushin Mukherjee and Holly Huey and Xuanchen Lu and Yael Vinker and Rio Aguina-Kang and Ariel Shamir and Judith E. Fan
• Abstract要約: スケッチは、スパースだが有意義な抽象イメージを作成するための強力なツールである。 現在の視覚アルゴリズムは様々な視覚的タスクにおいて高い性能を達成している。 スケッチがどの程度人間的な方法で理解されているかは、まだ不明である。
• 参考スコア（独自算出の注目度）: 19.70530050403922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sketching is a powerful tool for creating abstract images that are sparse but meaningful. Sketch understanding poses fundamental challenges for general-purpose vision algorithms because it requires robustness to the sparsity of sketches relative to natural visual inputs and because it demands tolerance for semantic ambiguity, as sketches can reliably evoke multiple meanings. While current vision algorithms have achieved high performance on a variety of visual tasks, it remains unclear to what extent they understand sketches in a human-like way. Here we introduce SEVA, a new benchmark dataset containing approximately 90K human-generated sketches of 128 object concepts produced under different time constraints, and thus systematically varying in sparsity. We evaluated a suite of state-of-the-art vision algorithms on their ability to correctly identify the target concept depicted in these sketches and to generate responses that are strongly aligned with human response patterns on the same sketch recognition task. We found that vision algorithms that better predicted human sketch recognition performance also better approximated human uncertainty about sketch meaning, but there remains a sizable gap between model and human response patterns. To explore the potential of models that emulate human visual abstraction in generative tasks, we conducted further evaluations of a recently developed sketch generation algorithm (Vinker et al., 2022) capable of generating sketches that vary in sparsity. We hope that public release of this dataset and evaluation protocol will catalyze progress towards algorithms with enhanced capacities for human-like visual abstraction.
• Abstract（参考訳）: スケッチは、スパースだが有意義な抽象イメージを作成するための強力なツールである。 スケッチ理解は、自然な視覚入力に対するスケッチのスパース性に対する堅牢性が必要であり、また、スケッチが複数の意味を確実に誘発できるため、セマンティックな曖昧さに対する耐性を必要とするため、汎用視覚アルゴリズムにとって基本的な課題となる。 現在のビジョンアルゴリズムは、様々な視覚タスクで高いパフォーマンスを達成しているが、人間のようにスケッチをどの程度理解しているかは不明だ。 本稿では,異なる時間制約下で生成された128のオブジェクト概念の,約90Kの人為的なスケッチを含む新しいベンチマークデータセットSEVAを紹介する。 我々は,これらのスケッチで表現されたターゲット概念を正しく識別し,同一のスケッチ認識タスクにおいてヒトの反応パターンに強く適合する応答を生成する能力について,最先端の視覚アルゴリズム群の評価を行った。 人間のスケッチ認識性能を良く予測するビジョンアルゴリズムは、スケッチの意味に関する人間の不確かさをよく近似するが、モデルと人間の反応パターンの間にはかなりのギャップがある。 近年開発されたスケッチ生成アルゴリズム (Vinker et al., 2022) を用いて, 空間的に異なるスケッチを生成することにより, 人間の視覚的抽象化をエミュレートするモデルの可能性について検討した。 このデータセットと評価プロトコルの公開リリースによって,人間の視覚的抽象化能力が向上したアルゴリズムへの進展が促進されることを期待する。

関連論文リスト

• HINT: Learning Complete Human Neural Representations from Limited Viewpoints [69.76947323932107]
  我々は、限られた視野角から詳細な人間のモデルを学習できるNeRFベースのアルゴリズムを提案する。 その結果,数個の視角からでも完全な人間の再構築が可能となり,性能は15%以上向上した。
  論文  参考訳（メタデータ） (2024-05-30T05:43:09Z)
• Explaining Deep Face Algorithms through Visualization: A Survey [57.60696799018538]
  本研究は、顔領域における説明可能性アルゴリズムの第一種メタ分析を行う。 既存のフェース説明可能性について概観し、フェースネットワークの構造と階層に関する貴重な知見を明らかにする。
  論文  参考訳（メタデータ） (2023-09-26T07:16:39Z)
• Sketch2Saliency: Learning to Detect Salient Objects from Human Drawings [99.9788496281408]
  本研究では,スケッチを弱いラベルとして使用して,画像中の有能な物体を検出する方法について検討する。 これを実現するために,与えられた視覚写真に対応する逐次スケッチ座標を生成することを目的としたフォト・ツー・スケッチ生成モデルを提案する。 テストは、私たちの仮説を証明し、スケッチベースの唾液度検出モデルが、最先端技術と比較して、競争力のあるパフォーマンスを提供する方法を明確にします。
  論文  参考訳（メタデータ） (2023-03-20T23:46:46Z)
• Abstracting Sketches through Simple Primitives [53.04827416243121]
  人間は、オブジェクト情報を素早く通信する必要があるゲームにおいて、高いレベルの抽象化能力を示す。 本稿では,プリミティブをベースとしたスケッチ抽象化タスクを提案する。 我々のPrimitive-Matching Network(PMN)は、スケッチの解釈可能な抽象化を自己管理的に学習する。
  論文  参考訳（メタデータ） (2022-07-27T14:32:39Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• Behind the Machine's Gaze: Biologically Constrained Neural Networks Exhibit Human-like Visual Attention [40.878963450471026]
  トップダウン方式でビジュアル・スキャンパスを生成するニューラル・ビジュアル・アテンション(NeVA)アルゴリズムを提案する。 提案手法は,人間の走査パスと類似性の観点から,最先端の非監視的注意モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-19T18:57:47Z)
• Sketch2Model: View-Aware 3D Modeling from Single Free-Hand Sketches [4.781615891172263]
  初心者向けの高速な3Dモデリングを目指し、自由自在なスケッチから3Dメッシュを生成する問題を調査します。 曖昧さを克服するための視点仕様の重要性に対処し,新しい視点認識生成手法を提案する。
  論文  参考訳（メタデータ） (2021-05-14T06:27:48Z)
• On Learning Semantic Representations for Million-Scale Free-Hand Sketches [146.52892067335128]
  百万のフリーハンドスケッチのための学習意味表現について研究する。 スケッチを表現するために,デュアルブランチCNNRNNネットワークアーキテクチャを提案する。 ハッシュ検索とゼロショット認識におけるスケッチ指向の意味表現の学習について検討する。
  論文  参考訳（メタデータ） (2020-07-07T15:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。