論文の概要: Automatic Concept Extraction for Concept Bottleneck-based Video
Classification
- arxiv url: http://arxiv.org/abs/2206.10129v1
- Date: Tue, 21 Jun 2022 06:22:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-23 06:02:57.911504
- Title: Automatic Concept Extraction for Concept Bottleneck-based Video
Classification
- Title(参考訳): 概念ボトルネックに基づく映像分類のための自動概念抽出
- Authors: Jeya Vikranth Jeyakumar, Luke Dickens, Luis Garcia, Yu-Hsi Cheng,
Diego Ramirez Echavarria, Joseph Noor, Alessandra Russo, Lance Kaplan, Erik
Blasch, Mani Srivastava
- Abstract要約: 本稿では,概念に基づくビデオ分類に必要かつ十分な概念抽象セットを厳格に構成する概念発見抽出モジュールを提案する。
提案手法は,自然言語における概念概念の抽象概念を応用し,複雑なタスクに概念ボトルネック法を一般化する。
- 参考スコア(独自算出の注目度): 58.11884357803544
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent efforts in interpretable deep learning models have shown that
concept-based explanation methods achieve competitive accuracy with standard
end-to-end models and enable reasoning and intervention about extracted
high-level visual concepts from images, e.g., identifying the wing color and
beak length for bird-species classification. However, these concept bottleneck
models rely on a necessary and sufficient set of predefined concepts-which is
intractable for complex tasks such as video classification. For complex tasks,
the labels and the relationship between visual elements span many frames, e.g.,
identifying a bird flying or catching prey-necessitating concepts with various
levels of abstraction. To this end, we present CoDEx, an automatic Concept
Discovery and Extraction module that rigorously composes a necessary and
sufficient set of concept abstractions for concept-based video classification.
CoDEx identifies a rich set of complex concept abstractions from natural
language explanations of videos-obviating the need to predefine the amorphous
set of concepts. To demonstrate our method's viability, we construct two new
public datasets that combine existing complex video classification datasets
with short, crowd-sourced natural language explanations for their labels. Our
method elicits inherent complex concept abstractions in natural language to
generalize concept-bottleneck methods to complex tasks.
- Abstract(参考訳): 解釈可能なディープラーニングモデルにおける最近の研究は、概念に基づく説明手法が標準のエンドツーエンドモデルと競合する精度を実現し、画像から抽出された高次視覚概念についての推論と介入を可能にすることを示した。
しかし、これらの概念ボトルネックモデルは、ビデオ分類のような複雑なタスクに難解な、必要かつ十分な事前定義された概念のセットに依存している。
複雑なタスクでは、ラベルと視覚要素間の関係は多くのフレームにまたがっている。
そこで,本稿では,概念に基づくビデオ分類に必要な概念抽象化セットを厳格に構成する,概念発見・抽出モジュールであるcodexを提案する。
codexは、ビデオの自然言語説明から複雑な概念抽象化の豊富なセットを特定し、アモルファスの概念セットを事前に定義する必要性を回避している。
提案手法の有効性を示すために,既存の複雑なビデオ分類データセットと,そのラベルに対するクラウドソース自然言語説明を組み合わせた2つの公開データセットを構築した。
本手法は自然言語に固有の複雑な概念抽象化を導出し,概念ボトルネック法を複雑なタスクに一般化する。
関連論文リスト
- Hierarchical Concept Discovery Models: A Concept Pyramid Scheme [11.138948381367133]
この研究は、アンテホック解釈可能性、特に概念ボトルネックモデル(CBM)をターゲットにしている。
私たちのゴールは、人間の理解可能な概念に関して、高度に解釈可能な意思決定プロセスを認めるフレームワークを設計することです。
この枠組みの中では、概念情報は全体像と一般的な非構造化概念との類似性にのみ依存しない。
論文 参考訳(メタデータ) (2023-10-03T14:57:31Z) - Text-to-Image Generation for Abstract Concepts [76.32278151607763]
抽象概念のためのテキスト・画像生成フレームワーク(TIAC)を提案する。
抽象概念は曖昧さを避けるための詳細な定義で明確な意図に明確化されている。
LLM抽出フォームパターンセットから概念依存型フォームを検索する。
論文 参考訳(メタデータ) (2023-09-26T02:22:39Z) - A Recursive Bateson-Inspired Model for the Generation of Semantic Formal
Concepts from Spatial Sensory Data [77.34726150561087]
本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。
このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。
このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
論文 参考訳(メタデータ) (2023-07-16T15:59:13Z) - Acquiring and Modelling Abstract Commonsense Knowledge via
Conceptualization [31.925713490764867]
本稿では,コモンセンス推論における概念化の可能性について考察する。
そこで我々は,大規模人間の注釈付きCKGであるATOMICの文脈的概念化ツールを開発した。
実験では、抽象的な三重項でデータを直接拡張することで、コモンセンスモデリングに役立ちます。
論文 参考訳(メタデータ) (2022-06-03T12:24:49Z) - Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
概念学習は言語意味論と結びついた視覚表現を構成する。
視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。
本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-28T14:27:38Z) - AIGenC: An AI generalisation model via creativity [1.933681537640272]
本稿では,創造性に関する認知理論に触発された計算モデル(AIGenC)を紹介する。
人工エージェントが変換可能な表現を学習、使用、生成するために必要なコンポーネントを配置する。
本稿では, 人工エージェントの配当効率を向上するモデルの有効性について論じる。
論文 参考訳(メタデータ) (2022-05-19T17:43:31Z) - Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。
次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。
最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
論文 参考訳(メタデータ) (2022-02-25T01:27:31Z) - Interpretable Visual Reasoning via Induced Symbolic Space [75.95241948390472]
視覚的推論における概念誘導の問題,すなわち,画像に関連付けられた質問応答対から概念とその階層的関係を同定する。
我々はまず,オブジェクトレベルの視覚的特徴を持つ視覚的推論タスクを実行するために,オブジェクト指向合成注意モデル(OCCAM)という新しいフレームワークを設計する。
そこで我々は,対象の視覚的特徴と質問語の間の注意パターンから手がかりを用いて,対象と関係の概念を誘導する手法を考案した。
論文 参考訳(メタデータ) (2020-11-23T18:21:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。