論文の概要: InterVLS: Interactive Model Understanding and Improvement with Vision-Language Surrogates
- arxiv url: http://arxiv.org/abs/2311.03547v2
- Date: Tue, 25 Jun 2024 16:37:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 19:34:10.103474
- Title: InterVLS: Interactive Model Understanding and Improvement with Vision-Language Surrogates
- Title（参考訳）: InterVLS:ビジョンランゲージサロゲートによる対話型モデル理解と改善
- Authors: Jinbin Huang, Wenbin He, Liang Gou, Liu Ren, Chris Bryan,
- Abstract要約: ディープラーニングモデルは重要なアプリケーションで広く使われており、事前デプロイモデルの理解と改善の必要性を強調している。
視覚的な概念ベースのメソッドは、この目的のためにますます使われてきているが、(1)ほとんどの概念は解釈可能性に欠け、(2)既存のメソッドはモデル知識を必要とし、しばしば実行時に利用できない。
本稿では,テキストに整合した概念を発見し,モデルに依存しない線形サロゲートによる影響を測定することによって,モデル理解を容易にするInterVLSを提案する。
- 参考スコア（独自算出の注目度）: 18.793275018467163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning models are widely used in critical applications, highlighting the need for pre-deployment model understanding and improvement. Visual concept-based methods, while increasingly used for this purpose, face challenges: (1) most concepts lack interpretability, (2) existing methods require model knowledge, often unavailable at run time. Additionally, (3) there lacks a no-code method for post-understanding model improvement. Addressing these, we present InterVLS. The system facilitates model understanding by discovering text-aligned concepts, measuring their influence with model-agnostic linear surrogates. Employing visual analytics, InterVLS offers concept-based explanations and performance insights. It enables users to adjust concept influences to update a model, facilitating no-code model improvement. We evaluate InterVLS in a user study, illustrating its functionality with two scenarios. Results indicates that InterVLS is effective to help users identify influential concepts to a model, gain insights and adjust concept influence to improve the model. We conclude with a discussion based on our study results.
- Abstract（参考訳）: ディープラーニングモデルは重要なアプリケーションで広く使われており、事前デプロイモデルの理解と改善の必要性を強調している。
視覚的概念に基づく手法は、この目的のためにますます使われてきているが、(1)ほとんどの概念は解釈可能性に欠けており、(2)既存の手法はモデル知識を必要とし、しばしば実行時に利用できない。
さらに (3) では、後述のモデル改善のためのノーコードメソッドが欠如している。
これらの問題に対処するため、InterVLSを提示する。
本システムは,テキストに整合した概念を発見し,モデルに依存しない線形サロゲートによる影響を測定することによって,モデル理解を容易にする。
ビジュアル分析を利用することで、InterVLSは概念ベースの説明とパフォーマンスの洞察を提供する。
これにより、ユーザーは概念の影響を調整してモデルを更新でき、コードなしモデルの改善が容易になる。
ユーザスタディにおいて,InterVLSを評価し,その機能を2つのシナリオで評価した。
その結果、InterVLSは、モデルに対する影響力ある概念を特定し、洞察を得て、モデルを改善するために概念の影響を調整するのに役立つことが示唆された。
我々は研究結果に基づいて議論を締めくくった。
関連論文リスト
- Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。
新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
論文 参考訳（メタデータ） (2024-02-12T18:21:14Z) - Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。
本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。
この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
論文 参考訳（メタデータ） (2024-01-09T16:16:16Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z) - MultiViz: An Analysis Benchmark for Visualizing and Understanding
Multimodal Models [103.9987158554515]
MultiVizは、解釈可能性の問題を4段階に足場化することで、マルチモーダルモデルの振る舞いを分析する手法である。
MultiVizの相補的な段階は、モデル予測をシミュレートし、機能に解釈可能な概念を割り当て、モデル誤分類のエラー解析を行い、エラー解析からモデルデバッグへの洞察を利用することを可能にする。
論文 参考訳（メタデータ） (2022-06-30T18:42:06Z) - UViM: A Unified Modeling Approach for Vision with Learned Guiding Codes [91.24112204588353]
我々は、幅広いコンピュータビジョンタスクをモデル化できる統一的なアプローチであるUViMを紹介する。
以前のモデルとは対照的に、UViMは全てのタスクに対して同じ機能を持つ。
多様な3つの視覚課題に対するUViMの有効性を実証する。
論文 参考訳（メタデータ） (2022-05-20T17:47:59Z) - Analyzing a Caching Model [7.378507865227209]
解釈容易性は、現実世界のデプロイメントにおいて、依然として大きな障害である。
現状のキャッシュモデルを分析することで、単純な統計以上の概念を学習したことを示す。
論文 参考訳（メタデータ） (2021-12-13T19:53:07Z) - AdViCE: Aggregated Visual Counterfactual Explanations for Machine
Learning Model Validation [9.996986104171754]
我々は,ブラックボックスモデルデバッグとバリデーションでユーザをガイドすることを目的とした視覚分析ツールであるAdViCEを紹介する。
1) ユーザ定義データサブセットの意思決定の比較を可能にするインタラクティブな可視化,(2) 反現実的説明の計算と視覚化を行うアルゴリズムとビジュアルデザイン。
論文 参考訳（メタデータ） (2021-09-12T22:52:12Z) - Intuitively Assessing ML Model Reliability through Example-Based
Explanations and Editing Model Inputs [19.09848738521126]
解釈可能性メソッドは、機械学習モデルの能力に対する信頼の構築と理解を支援することを目的とする。
モデル信頼性をより直感的に評価するための2つのインターフェースモジュールを紹介します。
論文 参考訳（メタデータ） (2021-02-17T02:41:32Z) - VinVL: Revisiting Visual Representations in Vision-Language Models [96.39332942534368]
画像のオブジェクト中心表現を提供するための改良されたオブジェクト検出モデルを開発した。
新しい視覚機能は、すべての視覚言語(VL)タスクのパフォーマンスを大幅に改善する。
新しいオブジェクト検出モデルを公開します。
論文 参考訳（メタデータ） (2021-01-02T23:35:27Z) - Explainable Recommender Systems via Resolving Learning Representations [57.24565012731325]
説明はユーザー体験を改善し、システムの欠陥を発見するのに役立つ。
本稿では,表現学習プロセスの透明性を向上させることによって,説明可能な新しい推薦モデルを提案する。
論文 参考訳（メタデータ） (2020-08-21T05:30:48Z) - ViCE: Visual Counterfactual Explanations for Machine Learning Models [13.94542147252982]
本稿では,対話型視覚分析ツールViCEを提案する。
結果が視覚インターフェースに効果的に表示され、そのデータとモデルを探索するための対話的手法が提供される。
論文 参考訳（メタデータ） (2020-03-05T04:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。