論文の概要: Interactive Visual Feature Search
- arxiv url: http://arxiv.org/abs/2211.15060v2
- Date: Fri, 15 Dec 2023 20:43:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 21:17:21.155531
- Title: Interactive Visual Feature Search
- Title(参考訳): インタラクティブなビジュアル特徴検索
- Authors: Devon Ulrich and Ruth Fong
- Abstract要約: 視覚特徴探索(Visual Feature Search)は,任意のCNNに適応可能な,インタラクティブな可視化技術である。
このツールを使うと、ユーザーは画像領域をハイライトし、最もよく似たモデル機能を持つデータセットから画像を検索できる。
我々は,医療画像や野生生物の分類など,様々な応用実験を行うことで,モデル行動の異なる側面を解明する方法を実証する。
- 参考スコア(独自算出の注目度): 8.255656003475268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many visualization techniques have been created to explain the behavior of
computer vision models, but they largely consist of static diagrams that convey
limited information. Interactive visualizations allow users to more easily
interpret a model's behavior, but most are not easily reusable for new models.
We introduce Visual Feature Search, a novel interactive visualization that is
adaptable to any CNN and can easily be incorporated into a researcher's
workflow. Our tool allows a user to highlight an image region and search for
images from a given dataset with the most similar model features. We
demonstrate how our tool elucidates different aspects of model behavior by
performing experiments on a range of applications, such as in medical imaging
and wildlife classification.
- Abstract(参考訳): コンピュータビジョンモデルの振る舞いを説明するために多くの可視化技術が作成されているが、それらは主に限られた情報を伝える静的図で構成されている。
インタラクティブな視覚化により、ユーザーはモデルの振る舞いをより容易に解釈できるが、その多くは新しいモデルでは簡単に再利用できない。
我々は,任意のcnnに適応可能で,研究者のワークフローに容易に組み込むことのできる,インタラクティブなインタラクティブ可視化であるvisual feature searchを紹介する。
このツールは、ユーザが画像領域を強調表示し、最もよく似たモデル機能を備えたデータセットから画像を検索できる。
我々は,医療画像や野生生物の分類など,様々な応用実験を行うことで,モデル行動の異なる側面を解明する方法を実証する。
関連論文リスト
- A Multimodal Automated Interpretability Agent [63.8551718480664]
MAIAは、ニューラルモデルを使用して、ニューラルモデル理解タスクを自動化するシステムである。
まず、画像の学習表現における(ニューロンレベルの)特徴を記述できるMAIAの能力を特徴付ける。
次に、MAIAは、刺激的な特徴に対する感度の低下と、誤分類される可能性のある入力を自動的に識別する2つの追加の解釈可能性タスクに役立てることができることを示す。
論文 参考訳(メタデータ) (2024-04-22T17:55:11Z) - Semantic-Based Active Perception for Humanoid Visual Tasks with Foveal Sensors [49.99728312519117]
この研究の目的は、最近の意味に基づくアクティブな知覚モデルが、人間が定期的に行う視覚的なタスクをいかに正確に達成できるかを確立することである。
このモデルは、現在のオブジェクト検出器が多数のオブジェクトクラスをローカライズし、分類し、複数の固定にまたがるシーンのセマンティック記述を更新する能力を利用する。
シーン探索の課題では、セマンティック・ベースの手法は従来のサリエンシ・ベース・モデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-04-16T18:15:57Z) - An Image-based Typology for Visualization [23.716718517642878]
本稿では,画像からの視覚表現の質的解析結果について述べる。
定義群を10種類に分類した。
我々は、6,833枚のタグ付き画像のデータセットと、ラベル付き画像の大規模な集合を探索および分析するために使用できるオンラインツールを提供する。
論文 参考訳(メタデータ) (2024-03-07T04:33:42Z) - A Vision Check-up for Language Models [61.852026871772914]
テキストのモデルを用いて、予備的な視覚表現学習システムをどのように訓練するかを示す。
自己教師付き視覚表現学習の実験は、自然画像のセマンティックアセスメントを行うことができる視覚モデルを訓練する可能性を強調している。
論文 参考訳(メタデータ) (2024-01-03T18:09:33Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳(メタデータ) (2023-08-20T12:43:52Z) - Evaluating how interactive visualizations can assist in finding samples where and how computer vision models make mistakes [1.76602679361245]
コンピュータビジョン(CV)モデルを作成するシステムであるSpriteのコンテキストにおいて、2つのインタラクティブな可視化を提示する。
これらの視覚化は、Spriteのユーザがモデルに苦労している画像を特定し(評価)、(計画的な)画像を選択するのにどのように役立つかを調べる。
論文 参考訳(メタデータ) (2023-05-19T14:43:00Z) - Benchmarking human visual search computational models in natural scenes:
models comparison and reference datasets [0.0]
我々は、自然の場面で利用可能な最先端のビジュアル検索モデルを選択し、異なるデータセットで評価する。
本稿では,ニューラルネットワークに基づくビジュアルサーチモデルと組み合わせて,理想ベイズ探索法の改良を提案する。
論文 参考訳(メタデータ) (2021-12-10T19:56:45Z) - An Interactive Visualization Tool for Understanding Active Learning [12.345164513513671]
本稿では,能動学習の学習過程を明らかにするための対話型可視化ツールを提案する。
このツールは、興味深いデータポイントのサンプルを選択し、異なるクエリ段階でそれらの予測値がどのように変化するかを確認し、アクティブな学習がいつどのように機能するかをよりよく理解することができる。
論文 参考訳(メタデータ) (2021-11-09T03:33:26Z) - Self-Supervised Representation Learning from Flow Equivariance [97.13056332559526]
本稿では,複雑なシーンの映像ストリームに直接展開可能な,自己教師型学習表現フレームワークを提案する。
高分解能rawビデオから学んだ我々の表現は、静的画像の下流タスクに簡単に使用できます。
論文 参考訳(メタデータ) (2021-01-16T23:44:09Z) - What Can You Learn from Your Muscles? Learning Visual Representation
from Human Interactions [50.435861435121915]
視覚のみの表現よりも優れた表現を学べるかどうかを調べるために,人間のインタラクションとアテンション・キューを用いている。
実験の結果,我々の「音楽監督型」表現は,視覚のみの最先端手法であるMoCoよりも優れていた。
論文 参考訳(メタデータ) (2020-10-16T17:46:53Z) - Interactive Visual Study of Multiple Attributes Learning Model of X-Ray
Scattering Images [34.95218692917125]
本稿では,X線散乱画像に適用した複数の属性学習モデルを視覚的に研究するための対話型システムを提案する。
この探索は、属性間の相互関係に関連するモデル性能の顕在化によって導かれる。
したがって、このシステムはドメインサイエンティストをサポートし、トレーニングデータセットとモデルを改善し、疑問のある属性ラベルを見つけ、外れやすい画像や素早いデータクラスタを識別する。
論文 参考訳(メタデータ) (2020-09-03T00:38:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。