論文の概要: Prisma: An Open Source Toolkit for Mechanistic Interpretability in Vision and Video

• arxiv url: http://arxiv.org/abs/2504.19475v2
• Date: Mon, 02 Jun 2025 05:24:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 16:22:43.316279
• Title: Prisma: An Open Source Toolkit for Mechanistic Interpretability in Vision and Video
• Title（参考訳）: Prisma: ビジョンとビデオの機械的解釈性のためのオープンソースツールキット
• Authors: Sonia Joseph, Praneet Suresh, Lorenz Hufe, Edward Stevinson, Robert Graham, Yash Vadi, Danilo Bzdok, Sebastian Lapuschkin, Lee Sharkey, Blake Aaron Richards,
• Abstract要約: 視覚力学的解釈可能性の研究を加速するために設計されたオープンソースのフレームワークであるPrismaを紹介する。 75以上のビジョンとビデオトランスフォーマーにアクセスするための統一ツールキット、スパースオートエンコーダ(SAE)、トランスコーダ、クロスコーダトレーニングのサポート、80以上の事前訓練されたSAEウェイトスイート、アクティベーションキャッシング、回路解析ツール、可視化ツールを提供する。 解析の結果,実効性SAEは言語SAEよりも空間パターンが著しく低いこと,SAE再建がモデル損失を減少させる場合があること,など,驚くべき結果が得られた。
• 参考スコア（独自算出の注目度）: 3.1230582360881587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robust tooling and publicly available pre-trained models have helped drive recent advances in mechanistic interpretability for language models. However, similar progress in vision mechanistic interpretability has been hindered by the lack of accessible frameworks and pre-trained weights. We present Prisma (Access the codebase here: https://github.com/Prisma-Multimodal/ViT-Prisma), an open-source framework designed to accelerate vision mechanistic interpretability research, providing a unified toolkit for accessing 75+ vision and video transformers; support for sparse autoencoder (SAE), transcoder, and crosscoder training; a suite of 80+ pre-trained SAE weights; activation caching, circuit analysis tools, and visualization tools; and educational resources. Our analysis reveals surprising findings, including that effective vision SAEs can exhibit substantially lower sparsity patterns than language SAEs, and that in some instances, SAE reconstructions can decrease model loss. Prisma enables new research directions for understanding vision model internals while lowering barriers to entry in this emerging field.
• Abstract（参考訳）: ロバストなツーリングとトレーニング済みの公開モデルは、言語モデルの機械的解釈可能性の最近の進歩を後押ししている。 しかし、視覚力学的解釈の類似の進歩は、アクセシブルフレームワークの欠如と事前訓練されたウェイトによって妨げられている。 https://github.com/Prisma-Multimodal/ViT-Prismaは、視覚力学的解釈可能性の研究を加速するために設計されたオープンソースのフレームワークで、75以上のビジョンとビデオトランスフォーマーにアクセスするための統一されたツールキットを提供し、スパースオートエンコーダ(SAE)、トランスコーダ、クロスコーダトレーニングをサポートします。 解析の結果,実効性SAEは言語SAEよりも空間パターンが著しく低いこと,SAE再建がモデル損失を減少させる場合があること,など,驚くべき結果が得られた。 Prismaは、この新興分野への参入障壁を低くしながら、視覚モデルの内部を理解するための新しい研究方向を可能にする。

関連論文リスト

• Steering CLIP's vision transformer with sparse autoencoders [20.63298721008492]
  私たちは、CLIPの視覚変換器でスパースオートエンコーダ(SAE)を訓練し、視覚と言語処理の主な違いを明らかにする。 10～15%のニューロンと特徴がステアリング可能であり、SAEはベースモデルよりも数千のステアリング可能な特徴を提供する。
  論文  参考訳（メタデータ） (2025-04-11T17:56:09Z)
• Sparse Autoencoders for Scientifically Rigorous Interpretation of Vision Models [27.806966289284528]
  本稿では、スパースオートエンコーダ(SAE)を用いて、人間の解釈可能な視覚的特徴を発見する統一的なフレームワークを提案する。 そこで本研究では,SAEがモデル再学習を行なわずに,解釈可能な視覚特徴を確実に識別・操作できることを示す。
  論文  参考訳（メタデータ） (2025-02-10T18:32:41Z)
• Understanding Multimodal LLMs: the Mechanistic Interpretability of Llava in Visual Question Answering [19.472889262384818]
  我々は,ユーザと研究者が最終予測のための重要な視覚的位置を特定するのに役立つ解釈可能性ツールを開発した。 提案手法は,既存の解釈可能性アプローチと比較して,より高速かつ効果的な結果を示す。
  論文  参考訳（メタデータ） (2024-11-17T03:32:50Z)
• Llama Scope: Extracting Millions of Features from Llama-3.1-8B with Sparse Autoencoders [115.34050914216665]
  スパースオートエンコーダ(SAE)は、言語モデルからスパース表現を抽出する強力な教師なし手法として登場した。 我々は、Llama-3.1-8B-Baseモデルの各層とサブ層で訓練された256個のSAEスイートを紹介し、32Kと128Kの特徴を持つ。 基礎モデルに基づいて訓練されたSAEのより長い文脈と微調整モデルへの一般化性を評価する。
  論文  参考訳（メタデータ） (2024-10-27T17:33:49Z)
• ReVLA: Reverting Visual Domain Limitation of Robotic Foundation Models [55.07988373824348]
  既存の3つのロボット基礎モデルの視覚的一般化能力について検討する。 本研究は,既存のモデルがドメイン外シナリオに対する堅牢性を示していないことを示す。 モデルマージに基づく段階的なバックボーンリバーサルアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-23T17:47:59Z)
• Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
  VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。 本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
  論文  参考訳（メタデータ） (2024-08-13T08:26:32Z)
• SOLO: A Single Transformer for Scalable Vision-Language Modeling [74.05173379908703]
  我々はvisiOn-Language mOdelingのための単一変換器SOLOを提案する。 SOLOのような統一された単一トランスフォーマーアーキテクチャは、LVLMにおけるこれらのスケーラビリティ上の懸念に効果的に対処する。 本稿では,オープンソースの7B LVLMであるSOLOの開発のための,最初のオープンソーストレーニングレシピを紹介する。
  論文  参考訳（メタデータ） (2024-07-08T22:40:15Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
  本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。 我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
  論文  参考訳（メタデータ） (2022-03-25T19:44:09Z)
• The Lottery Tickets Hypothesis for Supervised and Self-supervised Pre-training in Computer Vision Models [115.49214555402567]
  事前訓練された重量は、しばしば分類、検出、セグメンテーションを含む幅広い下流タスクを増加させる。 最近の研究は、巨大モデル能力による事前学習の利点を示唆している。 本稿では,抽選券仮説(LTH)のレンズを用いて,教師付きおよび自己指導型事前学習モデルについて検討する。
  論文  参考訳（メタデータ） (2020-12-12T21:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。