論文の概要: Automatic Concept Extraction for Concept Bottleneck-based Video Classification

• arxiv url: http://arxiv.org/abs/2206.10129v1
• Date: Tue, 21 Jun 2022 06:22:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 06:02:57.911504
• Title: Automatic Concept Extraction for Concept Bottleneck-based Video Classification
• Title（参考訳）: 概念ボトルネックに基づく映像分類のための自動概念抽出
• Authors: Jeya Vikranth Jeyakumar, Luke Dickens, Luis Garcia, Yu-Hsi Cheng, Diego Ramirez Echavarria, Joseph Noor, Alessandra Russo, Lance Kaplan, Erik Blasch, Mani Srivastava
• Abstract要約: 本稿では,概念に基づくビデオ分類に必要かつ十分な概念抽象セットを厳格に構成する概念発見抽出モジュールを提案する。 提案手法は,自然言語における概念概念の抽象概念を応用し,複雑なタスクに概念ボトルネック法を一般化する。
• 参考スコア（独自算出の注目度）: 58.11884357803544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent efforts in interpretable deep learning models have shown that concept-based explanation methods achieve competitive accuracy with standard end-to-end models and enable reasoning and intervention about extracted high-level visual concepts from images, e.g., identifying the wing color and beak length for bird-species classification. However, these concept bottleneck models rely on a necessary and sufficient set of predefined concepts-which is intractable for complex tasks such as video classification. For complex tasks, the labels and the relationship between visual elements span many frames, e.g., identifying a bird flying or catching prey-necessitating concepts with various levels of abstraction. To this end, we present CoDEx, an automatic Concept Discovery and Extraction module that rigorously composes a necessary and sufficient set of concept abstractions for concept-based video classification. CoDEx identifies a rich set of complex concept abstractions from natural language explanations of videos-obviating the need to predefine the amorphous set of concepts. To demonstrate our method's viability, we construct two new public datasets that combine existing complex video classification datasets with short, crowd-sourced natural language explanations for their labels. Our method elicits inherent complex concept abstractions in natural language to generalize concept-bottleneck methods to complex tasks.
• Abstract（参考訳）: 解釈可能なディープラーニングモデルにおける最近の研究は、概念に基づく説明手法が標準のエンドツーエンドモデルと競合する精度を実現し、画像から抽出された高次視覚概念についての推論と介入を可能にすることを示した。 しかし、これらの概念ボトルネックモデルは、ビデオ分類のような複雑なタスクに難解な、必要かつ十分な事前定義された概念のセットに依存している。 複雑なタスクでは、ラベルと視覚要素間の関係は多くのフレームにまたがっている。 そこで,本稿では,概念に基づくビデオ分類に必要な概念抽象化セットを厳格に構成する,概念発見・抽出モジュールであるcodexを提案する。 codexは、ビデオの自然言語説明から複雑な概念抽象化の豊富なセットを特定し、アモルファスの概念セットを事前に定義する必要性を回避している。 提案手法の有効性を示すために,既存の複雑なビデオ分類データセットと,そのラベルに対するクラウドソース自然言語説明を組み合わせた2つの公開データセットを構築した。 本手法は自然言語に固有の複雑な概念抽象化を導出し,概念ボトルネック法を複雑なタスクに一般化する。

関連論文リスト

• OmniPrism: Learning Disentangled Visual Concept for Image Generation [57.21097864811521]
  創造的な視覚概念の生成は、しばしば関連する結果を生み出すために参照イメージ内の特定の概念からインスピレーションを引き出す。 我々は,創造的画像生成のための視覚的概念分離手法であるOmniPrismを提案する。 提案手法は,自然言語で案内される不整合概念表現を学習し,これらの概念を組み込むために拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-12-16T18:59:52Z)
• From Concrete to Abstract: A Multimodal Generative Approach to Abstract Concept Learning [3.645603633040378]
  本稿では,高次抽象概念学習におけるマルチモーダル生成手法を提案する。 我々のモデルは、まず下層コンクリート概念を基礎として、それらを結合して基本レベル概念を形成し、最後にレベル概念を重畳するために抽象化する。 高階抽象概念を用いた言語対視覚および視覚対言語テストによるモデル言語学習能力の評価を行った。
  論文  参考訳（メタデータ） (2024-10-03T10:24:24Z)
• Explainable Concept Generation through Vision-Language Preference Learning [7.736445799116692]
  概念に基づく説明は、ポストホック後のディープニューラルネットワークを説明するための一般的な選択肢となっている。 視覚言語生成モデルを微調整する強化学習に基づく選好最適化アルゴリズムを考案する。 提案手法の有効性と信頼性に加えて,ニューラルネットワーク解析の診断ツールとしての有用性を示す。
  論文  参考訳（メタデータ） (2024-08-24T02:26:42Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
  本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。 ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
  論文  参考訳（メタデータ） (2022-06-03T12:24:49Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)
• Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
  概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。 次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。 最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
  論文  参考訳（メタデータ） (2022-02-25T01:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。