論文の概要: Contextual Semantic Interpretability
- arxiv url: http://arxiv.org/abs/2009.08720v1
- Date: Fri, 18 Sep 2020 09:47:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 02:16:05.776792
- Title: Contextual Semantic Interpretability
- Title(参考訳): 文脈的意味解釈可能性
- Authors: Diego Marcos, Ruth Fong, Sylvain Lobry, Remi Flamary, Nicolas Courty
and Devis Tuia
- Abstract要約: コンテキストをキャプチャするセマンティックボトルネックを調べます。
属性を解釈可能なスパースグループに集約する2層セマンティックボトルネックを使用する。
本モデルでは,Flickr画像の実際のテストセットに適用した場合,非解釈ベースラインと同程度の精度で予測を行う。
- 参考スコア(独自算出の注目度): 16.18912769522768
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional neural networks (CNN) are known to learn an image
representation that captures concepts relevant to the task, but do so in an
implicit way that hampers model interpretability. However, one could argue that
such a representation is hidden in the neurons and can be made explicit by
teaching the model to recognize semantically interpretable attributes that are
present in the scene. We call such an intermediate layer a \emph{semantic
bottleneck}. Once the attributes are learned, they can be re-combined to reach
the final decision and provide both an accurate prediction and an explicit
reasoning behind the CNN decision. In this paper, we look into semantic
bottlenecks that capture context: we want attributes to be in groups of a few
meaningful elements and participate jointly to the final decision. We use a
two-layer semantic bottleneck that gathers attributes into interpretable,
sparse groups, allowing them contribute differently to the final output
depending on the context. We test our contextual semantic interpretable
bottleneck (CSIB) on the task of landscape scenicness estimation and train the
semantic interpretable bottleneck using an auxiliary database (SUN Attributes).
Our model yields in predictions as accurate as a non-interpretable baseline
when applied to a real-world test set of Flickr images, all while providing
clear and interpretable explanations for each prediction.
- Abstract(参考訳): 畳み込みニューラルネットワーク(CNN)は、タスクに関連する概念をキャプチャするイメージ表現を学ぶことで知られているが、ハマースモデル解釈可能性の暗黙的な方法で行う。
しかし、そのような表現はニューロンの中に隠れており、シーンに存在する意味論的に解釈可能な属性を認識するようモデルに教えることによって明確にできると主張することができる。
このような中間層を \emph{semantic bottleneck} と呼ぶ。
属性が学習されると、それらは再結合されて最終決定に達し、正確な予測とCNN決定の背後にある明確な推論の両方を提供する。
本稿では,コンテキストを捉えた意味的ボトルネックについて考察する。我々は属性をいくつかの意味のある要素のグループに配置し,最終決定に共同で参加させたい。
属性を解釈可能なスパースグループに集約する2層セマンティックボトルネックを使用して、コンテキストに応じて最終的な出力に異なるコントリビューションを可能にする。
本研究では,ランドスケープの美しさ推定作業における文脈意味解釈的ボトルネック(CSIB)を検証し,補助データベース(SUN Attributes)を用いて意味解釈的ボトルネックを訓練する。
本モデルでは,Flickr画像の実際のテストセットに適用した場合の,解釈不能なベースラインと同程度の精度で予測を行うとともに,各予測に対して明確かつ解釈可能な説明を提供する。
関連論文リスト
- Linking in Style: Understanding learned features in deep learning models [0.0]
畳み込みニューラルネットワーク(CNN)は抽象的な特徴を学び、オブジェクト分類を行う。
本稿では,CNNにおける学習特徴を可視化し,体系的に解析する自動手法を提案する。
論文 参考訳(メタデータ) (2024-09-25T12:28:48Z) - Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。
融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。
我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
論文 参考訳(メタデータ) (2023-08-19T09:12:13Z) - Seeing in Words: Learning to Classify through Language Bottlenecks [59.97827889540685]
人間は簡潔で直感的な説明を使って予測を説明することができる。
特徴表現がテキストである視覚モデルでは,画像ネットイメージを効果的に分類できることを示す。
論文 参考訳(メタデータ) (2023-06-29T00:24:42Z) - NeSyFOLD: Neurosymbolic Framework for Interpretable Image Classification [1.3812010983144802]
画像分類タスクのためのニューロシンボリック(NeSy)モデルを作成するため,NeSyFOLDと呼ばれる新しいフレームワークを提案する。
FOLD-SE-Mと呼ばれるルールベースの機械学習アルゴリズムを用いて、階層化された回答セットプログラムを導出する。
NeSyモデルによる予測の正当性は、ASPインタープリタを使って得ることができる。
論文 参考訳(メタデータ) (2023-01-30T05:08:05Z) - Measuring the Interpretability of Unsupervised Representations via
Quantized Reverse Probing [97.70862116338554]
本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。
我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。
提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
論文 参考訳(メタデータ) (2022-09-07T16:18:50Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Interpretable Compositional Convolutional Neural Networks [20.726080433723922]
本稿では,従来の畳み込みニューラルネットワーク(CNN)を解釈可能な合成CNNに変換する手法を提案する。
合成CNNでは、各フィルタは、明確な意味を持つ特定の合成対象部分または画像領域を一貫して表現することになっている。
我々の手法は様々な種類のCNNに適用できる。
論文 参考訳(メタデータ) (2021-07-09T15:01:24Z) - Learning Semantically Meaningful Features for Interpretable
Classifications [17.88784870849724]
SemCNNは視覚特徴と単語句の関連を学習する。
複数のベンチマークデータセットの実験結果は、SemCNNが明確な意味を持つ特徴を学習できることを実証している。
論文 参考訳(メタデータ) (2021-01-11T14:35:16Z) - Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。
空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。
提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
論文 参考訳(メタデータ) (2020-11-06T12:17:01Z) - Interpreting Graph Neural Networks for NLP With Differentiable Edge
Masking [63.49779304362376]
グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。
本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。
モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
論文 参考訳(メタデータ) (2020-10-01T17:51:19Z) - A Disentangling Invertible Interpretation Network for Explaining Latent
Representations [19.398202091883366]
ユーザにとって理解しやすい意味概念への隠された表現の翻訳として解釈を定式化する。
提案する非可逆解釈ネットワークは,既存のアーキテクチャ上で透過的に適用可能である。
本稿では,2つのイメージをスケッチするだけでなく,教師なしの戦略によって意味概念を定義するための効率的な手法を提案する。
論文 参考訳(メタデータ) (2020-04-27T20:43:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。