論文の概要: Interactive Visual Feature Search
- arxiv url: http://arxiv.org/abs/2211.15060v1
- Date: Mon, 28 Nov 2022 04:39:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 18:40:27.122651
- Title: Interactive Visual Feature Search
- Title（参考訳）: インタラクティブなビジュアル特徴検索
- Authors: Devon Ulrich and Ruth Fong
- Abstract要約: 視覚特徴探索(Visual Feature Search)は,任意のCNNに一般化可能な,インタラクティブな可視化技術である。
このツールを使うと、ユーザーは画像領域をハイライトし、最もよく似たCNN機能を持つデータセットから画像を検索できる。
我々は,教師付き,自己監督型,人為的に編集されたCNNで実験を行うことにより,モデル行動のさまざまな側面を解明する方法を実証する。
- 参考スコア（独自算出の注目度）: 6.218613353519723
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many visualization techniques have been created to help explain the behavior
of convolutional neural networks (CNNs), but they largely consist of static
diagrams that convey limited information. Interactive visualizations can
provide more rich insights and allow users to more easily explore a model's
behavior; however, they are typically not easily reusable and are specific to a
particular model.
We introduce Visual Feature Search, a novel interactive visualization that is
generalizable to any CNN and can easily be incorporated into a researcher's
workflow. Our tool allows a user to highlight an image region and search for
images from a given dataset with the most similar CNN features. It supports
searching through large image datasets with an efficient cache-based search
implementation. We demonstrate how our tool elucidates different aspects of
model behavior by performing experiments on supervised, self-supervised, and
human-edited CNNs. We also release a portable Python library and several
IPython notebooks to enable researchers to easily use our tool in their own
experiments. Our code can be found at
https://github.com/lookingglasslab/VisualFeatureSearch.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)の動作を説明するために、多くの可視化技術が作成されているが、それらは主に限られた情報を伝える静的な図で構成されている。
インタラクティブなビジュアライゼーションはより豊富な洞察を提供し、より簡単にモデルの振る舞いを探索することができるが、一般的には再利用可能なものではなく、特定のモデルに特有のものである。
我々は,任意のcnnに一般化可能で,研究者のワークフローに容易に組み込むことのできる,インタラクティブなインタラクティブ可視化であるvisual feature searchを紹介する。
このツールを使うと、ユーザーは画像領域をハイライトし、最もよく似たCNN機能を持つデータセットから画像を検索できる。
キャッシュベースの効率的な検索実装で、大きなイメージデータセットの検索をサポートする。
本手法は, 教師付き, 自己監督型, および人間編集型cnnを用いた実験により, モデル行動の異なる側面を解明する方法を示す。
また、ポータブルなPythonライブラリといくつかのIPythonノートブックもリリースしています。
私たちのコードはhttps://github.com/lookingglasslab/VisualFeatureSearchで参照できます。
関連論文リスト
- Sparse Autoencoders for Scientifically Rigorous Interpretation of Vision Models [27.806966289284528]
本稿では、スパースオートエンコーダ(SAE)を用いて、人間の解釈可能な視覚的特徴を発見する統一的なフレームワークを提案する。
そこで本研究では,SAEがモデル再学習を行なわずに,解釈可能な視覚特徴を確実に識別・操作できることを示す。
論文 参考訳（メタデータ） (2025-02-10T18:32:41Z) - A Multimodal Automated Interpretability Agent [63.8551718480664]
MAIAは、ニューラルモデルを使用して、ニューラルモデル理解タスクを自動化するシステムである。
まず、画像の学習表現における(ニューロンレベルの)特徴を記述できるMAIAの能力を特徴付ける。
次に、MAIAは、刺激的な特徴に対する感度の低下と、誤分類される可能性のある入力を自動的に識別する2つの追加の解釈可能性タスクに役立てることができることを示す。
論文 参考訳（メタデータ） (2024-04-22T17:55:11Z) - Semantic-Based Active Perception for Humanoid Visual Tasks with Foveal Sensors [49.99728312519117]
この研究の目的は、最近の意味に基づくアクティブな知覚モデルが、人間が定期的に行う視覚的なタスクをいかに正確に達成できるかを確立することである。
このモデルは、現在のオブジェクト検出器が多数のオブジェクトクラスをローカライズし、分類し、複数の固定にまたがるシーンのセマンティック記述を更新する能力を利用する。
シーン探索の課題では、セマンティック・ベースの手法は従来のサリエンシ・ベース・モデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-16T18:15:57Z) - A Vision Check-up for Language Models [61.852026871772914]
テキストのモデルを用いて、予備的な視覚表現学習システムをどのように訓練するかを示す。
自己教師付き視覚表現学習の実験は、自然画像のセマンティックアセスメントを行うことができる視覚モデルを訓練する可能性を強調している。
論文 参考訳（メタデータ） (2024-01-03T18:09:33Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳（メタデータ） (2023-08-20T12:43:52Z) - Evaluating how interactive visualizations can assist in finding samples where and how computer vision models make mistakes [1.76602679361245]
コンピュータビジョン(CV)モデルを作成するシステムであるSpriteのコンテキストにおいて、2つのインタラクティブな可視化を提示する。
これらの視覚化は、Spriteのユーザがモデルに苦労している画像を特定し(評価)、(計画的な)画像を選択するのにどのように役立つかを調べる。
論文 参考訳（メタデータ） (2023-05-19T14:43:00Z) - Benchmarking human visual search computational models in natural scenes:
models comparison and reference datasets [0.0]
我々は、自然の場面で利用可能な最先端のビジュアル検索モデルを選択し、異なるデータセットで評価する。
本稿では,ニューラルネットワークに基づくビジュアルサーチモデルと組み合わせて,理想ベイズ探索法の改良を提案する。
論文 参考訳（メタデータ） (2021-12-10T19:56:45Z) - An Interactive Visualization Tool for Understanding Active Learning [12.345164513513671]
本稿では,能動学習の学習過程を明らかにするための対話型可視化ツールを提案する。
このツールは、興味深いデータポイントのサンプルを選択し、異なるクエリ段階でそれらの予測値がどのように変化するかを確認し、アクティブな学習がいつどのように機能するかをよりよく理解することができる。
論文 参考訳（メタデータ） (2021-11-09T03:33:26Z) - Self-Supervised Representation Learning from Flow Equivariance [97.13056332559526]
本稿では,複雑なシーンの映像ストリームに直接展開可能な,自己教師型学習表現フレームワークを提案する。
高分解能rawビデオから学んだ我々の表現は、静的画像の下流タスクに簡単に使用できます。
論文 参考訳（メタデータ） (2021-01-16T23:44:09Z) - What Can You Learn from Your Muscles? Learning Visual Representation
from Human Interactions [50.435861435121915]
視覚のみの表現よりも優れた表現を学べるかどうかを調べるために,人間のインタラクションとアテンション・キューを用いている。
実験の結果,我々の「音楽監督型」表現は,視覚のみの最先端手法であるMoCoよりも優れていた。
論文 参考訳（メタデータ） (2020-10-16T17:46:53Z) - Interactive Visual Study of Multiple Attributes Learning Model of X-Ray
Scattering Images [34.95218692917125]
本稿では,X線散乱画像に適用した複数の属性学習モデルを視覚的に研究するための対話型システムを提案する。
この探索は、属性間の相互関係に関連するモデル性能の顕在化によって導かれる。
したがって、このシステムはドメインサイエンティストをサポートし、トレーニングデータセットとモデルを改善し、疑問のある属性ラベルを見つけ、外れやすい画像や素早いデータクラスタを識別する。
論文 参考訳（メタデータ） (2020-09-03T00:38:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。