論文の概要: Drop the Details, Get the Gist: Dynamic Conceptual Representation for Video Recognition
- arxiv url: http://arxiv.org/abs/2610.36832v1
- Date: Tue, 27 Oct 2026 08:30:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.246106
- Title: Drop the Details, Get the Gist: Dynamic Conceptual Representation for Video Recognition
- Title(参考訳): 詳細を落としてGet the Gist: 動的概念表現によるビデオ認識
- Abstract要約: 本稿では,概念に基づく画像認識をプロシージャビデオ理解に拡張するフレームワークを提案する。
これはセグメントレベルの概念スコアベクトルの時間シーケンスとして多段階のビデオを表し、このシーケンスをTransformerエンコーダに入力してクラスラベルを予測する。
- 参考スコア(独自算出の注目度): 25.34786495592017
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concept Bottleneck Models (CBMs), which route predictions through a layer of human-interpretable concepts, have substantially improved the interpretability of visual classification by exposing an explicit, language-based rationale for each prediction. Most existing work focuses on static images, and temporal dynamics in videos have been underexplored in conceptual representation. We propose a framework that extends concept-based image recognition to procedural video understanding. It represents a multi-step video as a temporal sequence of segment-level concept score vectors and feeds this sequence into a Transformer encoder to predict the class label. We also explore a way to estimate the contribution of each concept for further interpretability. We evaluated three concept sets of different granularities on cooking and household-activity videos and found that coarser-grained concepts are sufficient for classifying these videos, which implies that fine-grained textual descriptions may be unnecessary.
- Abstract(参考訳): CBM(Concept Bottleneck Models)は、人間の解釈可能な概念の層を通じて予測をルートする概念で、各予測に対して明示的な言語に基づく論理を明らかにすることにより、視覚分類の解釈可能性を大幅に改善した。
既存の研究のほとんどは静的画像に焦点を当てており、ビデオの時間力学は概念表現において過小評価されている。
本稿では,概念に基づく画像認識をプロシージャビデオ理解に拡張するフレームワークを提案する。
これはセグメントレベルの概念スコアベクトルの時間シーケンスとして多段階のビデオを表し、このシーケンスをTransformerエンコーダに入力してクラスラベルを予測する。
また、さらに解釈可能性を高めるために、各概念の貢献を見積もる方法についても検討する。
料理と家庭内活動のビデオにおける3つの異なる粒度のセットを評価し,これらのビデオの分類には粗い粒度の概念が十分であることから,微細なテキスト記述は不要である可能性が示唆された。
関連論文リスト
- ConEx: Human-Interpretable Saliency Maps via Concept-Aware Attribution [15.141689275747519]
概念に基づく説明(ConEx)は、忠実さと解釈可能性の両方を提供するために、概念に基づく推論と相性ビジュアライゼーションを橋渡しする。
ConExはクラス固有の概念を自動的に発見し、概念活性化ベクトル(CAV)を通してそれらを表現する
ConExは、イメージにそれぞれの概念がどこに現れるか、そしてそれが予測にどのように貢献するかを明らかにする忠実なサリエンシマップを生成する。
論文 参考訳(メタデータ) (2026-10-03T15:48:24Z) - Explaining CLIP Zero-shot Predictions Through Concepts [54.05282304471016]
EZPCを導入し,CLIPのゼロショット予測を人間に理解可能な概念で説明する。
本手法は,言語記述から学習した概念空間にCLIPの合同画像テキスト埋め込みを投影する。
提案手法は,CLIPの強いゼロショット分類精度を維持しつつ,意味のある概念レベルの説明を提供する。
論文 参考訳(メタデータ) (2026-03-30T09:31:33Z) - Insight: Interpretable Semantic Hierarchies in Vision-Language Encoders [52.94006363830628]
言語対応の視覚基盤モデルは、下流の様々なタスクで強く機能する。
近年の研究では、これらの表現を人間の解釈可能な概念に分解するが、空間的接地が乏しく、画像分類に限られている。
入力画像に人間が解釈可能で空間的に接地した、きめ細かい概念を提供する言語対応概念基盤モデルであるInsightを提案する。
論文 参考訳(メタデータ) (2026-01-20T09:57:26Z) - Concepts in Motion: Temporal Bottlenecks for Interpretable Video Classification [10.376843346305112]
MoTIFは、ビデオ分類のための概念ボトルネックフレームワークに適応するトランスフォーマーにインスパイアされたアーキテクチャ設計である。
我々のデザインは、ビデオ全体にわたるグローバルな概念の重要性、特定のウィンドウ内でのローカルな概念の関連性、時間の経過とともに概念の時間的依存という、3つの補完的な視点を可能にします。
論文 参考訳(メタデータ) (2025-09-25T08:35:03Z) - OmniPrism: Learning Disentangled Visual Concept for Image Generation [57.21097864811521]
創造的な視覚概念の生成は、しばしば関連する結果を生み出すために参照イメージ内の特定の概念からインスピレーションを引き出す。
我々は,創造的画像生成のための視覚的概念分離手法であるOmniPrismを提案する。
提案手法は,自然言語で案内される不整合概念表現を学習し,これらの概念を組み込むために拡散モデルを訓練する。
論文 参考訳(メタデータ) (2024-12-16T18:59:52Z) - Coarse-to-Fine Concept Bottleneck Models [9.910980079138206]
この研究は、アンテホック解釈可能性、特に概念ボトルネックモデル(CBM)をターゲットにしている。
我々のゴールは、人間の理解可能な概念を2段階の粒度で、高度に解釈可能な意思決定プロセスを認めるフレームワークを設計することである。
この枠組みでは、概念情報は全体像と一般的な非構造概念の類似性にのみ依存せず、画像シーンのパッチ固有の領域に存在するより粒度の細かい概念情報を発見・活用するために概念階層の概念を導入している。
論文 参考訳(メタデータ) (2023-10-03T14:57:31Z) - ACSeg: Adaptive Conceptualization for Unsupervised Semantic Segmentation [17.019848796027485]
自己教師付き視覚事前学習モデルでは,画素レベルの意味的関係を表現することに大きな期待が持たれている。
本研究では,自己学習モデルにおける画素レベルのセマンティックアグリゲーションを画像エンコードや設計概念として検討する。
本稿では,これらのプロトタイプを各画像に対する情報的概念に適応的にマッピングするアダプティブ・コンセプト・ジェネレータ(ACG)を提案する。
論文 参考訳(メタデータ) (2022-10-12T06:16:34Z) - Static and Dynamic Concepts for Self-supervised Video Representation
Learning [70.15341866794303]
本稿では,自己教師付きビデオ表現学習のための新しい学習手法を提案する。
人間がビデオを理解する方法に触発され、まず一般的な視覚概念を学習し、ビデオ理解のための識別的地域への参加を提案する。
論文 参考訳(メタデータ) (2022-07-26T10:28:44Z) - Automatic Concept Extraction for Concept Bottleneck-based Video
Classification [58.11884357803544]
本稿では,概念に基づくビデオ分類に必要かつ十分な概念抽象セットを厳格に構成する概念発見抽出モジュールを提案する。
提案手法は,自然言語における概念概念の抽象概念を応用し,複雑なタスクに概念ボトルネック法を一般化する。
論文 参考訳(メタデータ) (2022-06-21T06:22:35Z) - Modeling Temporal Concept Receptive Field Dynamically for Untrimmed
Video Analysis [105.06166692486674]
本稿では,概念に基づくイベント表現の時間的概念受容分野について考察する。
時間的動的畳み込み(TDC)を導入し、概念に基づくイベント分析をより柔軟にする。
異なる係数は、入力ビデオに応じて適切な時間的概念受容フィールドサイズを生成することができる。
論文 参考訳(メタデータ) (2021-11-23T04:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。