論文の概要: SketchXAI: A First Look at Explainability for Human Sketches

• arxiv url: http://arxiv.org/abs/2304.11744v1
• Date: Sun, 23 Apr 2023 20:28:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 16:36:25.610989
• Title: SketchXAI: A First Look at Explainability for Human Sketches
• Title（参考訳）: SketchXAI:人間のケッチの説明可能性
• Authors: Zhiyu Qu, Yulia Gryaditskaya, Ke Li, Kaiyue Pang, Tao Xiang, Yi-Zhe Song
• Abstract要約: 本稿では,XAI(Explainable Artificial Intelligence)の風景に人間のスケッチを紹介する。 我々は、スケッチは人間中心のデータ形式であり、説明可能性を研究するための自然なインターフェースであると主張している。 我々は,ストロークの本質的な特性(形状,位置,順序)に対応するスケッチエンコーダを設計する。
• 参考スコア（独自算出の注目度）: 104.13322289903577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper, for the very first time, introduces human sketches to the landscape of XAI (Explainable Artificial Intelligence). We argue that sketch as a ``human-centred'' data form, represents a natural interface to study explainability. We focus on cultivating sketch-specific explainability designs. This starts by identifying strokes as a unique building block that offers a degree of flexibility in object construction and manipulation impossible in photos. Following this, we design a simple explainability-friendly sketch encoder that accommodates the intrinsic properties of strokes: shape, location, and order. We then move on to define the first ever XAI task for sketch, that of stroke location inversion SLI. Just as we have heat maps for photos, and correlation matrices for text, SLI offers an explainability angle to sketch in terms of asking a network how well it can recover stroke locations of an unseen sketch. We offer qualitative results for readers to interpret as snapshots of the SLI process in the paper, and as GIFs on the project page. A minor but interesting note is that thanks to its sketch-specific design, our sketch encoder also yields the best sketch recognition accuracy to date while having the smallest number of parameters. The code is available at \url{https://sketchxai.github.io}.
• Abstract（参考訳）: 本稿では,XAI(Explainable Artificial Intelligence)の風景にヒトのスケッチを初めて紹介する。 スケッチは「人間中心」データ形式であり、説明可能性を研究する自然なインターフェースであると主張する。 スケッチ固有の説明可能性設計の育成に注力する。 これは、ストロークをユニークなビルディングブロックとして識別することから始まり、写真ではオブジェクト構築の柔軟性と操作が不可能になる。 次に,ストロークの本質的特性(形状,位置,順序)に対応する,説明性に優しいスケッチエンコーダを設計する。 次に、スケッチのための最初のXAIタスク、ストローク位置反転SLIを定義する。 写真用のヒートマップとテキスト用の相関行列があるように、SLIは、ネットワークに見えないスケッチのストローク位置をいかに回復できるかを尋ねるために、スケッチを行うための説明可能性角を提供する。 我々は,論文中のSLIプロセスのスナップショットとして,プロジェクトページのGIFとして,読者に質的な結果を提供する。 小さいが興味深いのは、スケッチ固有の設計のおかげで、スケッチエンコーダは最小のパラメータを持ちながら、これまでで最高のスケッチ認識精度が得られることです。 コードは \url{https://sketchxai.github.io} で入手できる。

関連論文リスト

• SketchDreamer: Interactive Text-Augmented Creative Sketch Ideation [111.2195741547517]
  画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,制御されたスケッチを生成する手法を提案する。 我々の目標は、プロでないユーザにスケッチを作成させ、一連の最適化プロセスを通じて物語をストーリーボードに変換することです。
  論文  参考訳（メタデータ） (2023-08-27T19:44:44Z)
• Picture that Sketch: Photorealistic Image Generation from Abstract Sketches [109.69076457732632]
  この論文は、あなたや私のような訓練を受けていないアマチュアの抽象的で変形した普通のスケッチから、それをフォトリアリスティックなイメージに変えます。 まず、エッジマップのようなスケッチを指示するのではなく、抽象的なフリーハンドな人間のスケッチで作業することを目指しています。 そうすることで、スケッチから写真までのパイプラインを民主化し、スケッチがどれだけよいかに関わらず、スケッチを"写真化"します。
  論文  参考訳（メタデータ） (2023-03-20T14:49:03Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context [112.07988211268612]
  フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。 本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。 フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
  論文  参考訳（メタデータ） (2022-03-04T03:00:51Z)
• Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt [125.17887147597567]
  我々は、トランスフォーマー(Sketch-BERT)からのSketch BiBERT表現の学習モデルを提案する。 BERTをドメインのスケッチに一般化し、新しいコンポーネントと事前学習アルゴリズムを提案する。 Sketch-BERTの学習表現は,スケッチ認識,スケッチ検索,スケッチゲットといった下流タスクの性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-19T01:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。