論文の概要: Auxiliary Losses for Learning Generalizable Concept-based Models
- arxiv url: http://arxiv.org/abs/2311.11108v1
- Date: Sat, 18 Nov 2023 15:50:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 10:15:33.795835
- Title: Auxiliary Losses for Learning Generalizable Concept-based Models
- Title(参考訳): 一般化概念モデル学習のための補助損失
- Authors: Ivaxi Sheth, Samira Ebrahimi Kahou
- Abstract要約: コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。
CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。
本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
- 参考スコア(独自算出の注目度): 5.4066453042367435
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing use of neural networks in various applications has lead to
increasing apprehensions, underscoring the necessity to understand their
operations beyond mere final predictions. As a solution to enhance model
transparency, Concept Bottleneck Models (CBMs) have gained popularity since
their introduction. CBMs essentially limit the latent space of a model to
human-understandable high-level concepts. While beneficial, CBMs have been
reported to often learn irrelevant concept representations that consecutively
damage model performance. To overcome the performance trade-off, we propose
cooperative-Concept Bottleneck Model (coop-CBM). The concept representation of
our model is particularly meaningful when fine-grained concept labels are
absent. Furthermore, we introduce the concept orthogonal loss (COL) to
encourage the separation between the concept representations and to reduce the
intra-concept distance. This paper presents extensive experiments on real-world
datasets for image classification tasks, namely CUB, AwA2, CelebA and TIL. We
also study the performance of coop-CBM models under various distributional
shift settings. We show that our proposed method achieves higher accuracy in
all distributional shift settings even compared to the black-box models with
the highest concept accuracy.
- Abstract(参考訳): さまざまなアプリケーションでニューラルネットワークが使われるようになると、理解が高まり、最終的な予測以上の操作を理解する必要性が高まる。
モデルの透明性を高めるソリューションとして、Concept Bottleneck Models (CBM) が導入された。
CBMは基本的に、モデルの潜在空間を人間の理解可能な高レベルな概念に制限する。
有益ではあるが、CBMはモデル性能を連続的に損なう無関係な概念表現を学ぶことがしばしば報告されている。
性能トレードオフを克服するために,協調概念ボトルネックモデル(coop-CBM)を提案する。
我々のモデルの概念表現は、きめ細かい概念ラベルがない場合に特に意味がある。
さらに,概念表現の分離を促進し,概念内距離を低減するために,直交損失(COL)の概念を導入する。
本稿では,画像分類タスク(cub, awa2, celeba, til)のための実世界のデータセットに関する広範な実験を行う。
また,様々な分散シフト設定下でのクープCBMモデルの性能についても検討した。
提案手法は,概念精度の高いブラックボックスモデルと比較して,すべての分布シフト設定において高い精度が得られることを示す。
関連論文リスト
- Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。
後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。
広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
論文 参考訳(メタデータ) (2024-02-03T11:10:57Z) - Bridging Generative and Discriminative Models for Unified Visual
Perception with Diffusion Priors [56.82596340418697]
本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。
包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。
有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
論文 参考訳(メタデータ) (2024-01-29T10:36:57Z) - Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable? [9.002523763052848]
本稿では,すでに訓練済みのニューラルネットワークに対して,概念に基づく介入を行う手法を提案する。
本稿では,概念に基づく介入の有効性の尺度として,モデルの介入可能性について定式化する。
微調整は介入効率を向上し、しばしばより良い校正予測をもたらすことを示す。
論文 参考訳(メタデータ) (2024-01-24T16:02:14Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Learning to Receive Help: Intervention-Aware Concept Embedding Models [46.7616863339095]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、高レベルの概念セットを使用して予測を構築し、説明することによって、ニューラルネットワークの不透明さに対処する。
近年の研究では、介入効果は概念が介入される順序に大きく依存していることが示されている。
IntCEM(Intervention-Aware Concept Embedding Model)は,テスト時間介入に対するモデルの受容性を改善する新しいCBMアーキテクチャとトレーニングパラダイムである。
論文 参考訳(メタデータ) (2023-09-29T02:04:24Z) - Sparse Linear Concept Discovery Models [11.138948381367133]
概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、隠蔽層が人間の理解可能な概念に結びついている一般的なアプローチである。
本稿では,Contrastive Language Imageモデルと単一スパース線形層に基づく,シンプルかつ直感的に解釈可能なフレームワークを提案する。
実験により、我々のフレームワークは、最近のCBMアプローチを精度的に上回るだけでなく、一例あたりの疎度も高いことを示す。
論文 参考訳(メタデータ) (2023-08-21T15:16:19Z) - Mix-of-Show: Decentralized Low-Rank Adaptation for Multi-Concept
Customization of Diffusion Models [72.67967883658957]
低ランク適応(LoRA)を用いた新しい概念に対して、公共の大規模テキスト・画像拡散モデルを簡単にカスタマイズできる。
複数のカスタマイズされた概念を共同でサポートするために複数の概念LoRAを利用することは、課題である。
我々は、分散化されたマルチコンセプトカスタマイズの課題に対処するMix-of-Showと呼ばれる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T17:58:16Z) - I saw, I conceived, I concluded: Progressive Concepts as Bottlenecks [2.9398911304923447]
概念ボトルネックモデル(CBM)は、予測中間概念の修正による推論時の説明可能性と介入を提供する。
これにより、CBMは高い意思決定に魅力的なものとなる。
胎児超音波検査の品質評価を,医療におけるCBM意思決定支援の現実的ユースケースとして捉えた。
論文 参考訳(メタデータ) (2022-11-19T09:31:19Z) - Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。
我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。
我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
論文 参考訳(メタデータ) (2022-08-31T17:06:46Z) - Post-hoc Concept Bottleneck Models [11.358495577593441]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力を解釈可能な概念のセットにマッピングし、その概念を用いて予測を行う。
CBMは、ボトルネックを学ぶためにトレーニングデータに概念ラベルを必要とするため、実際には制限があり、強い事前訓練されたモデルを活用しない。
解釈可能性の利点を保ちながら、モデル性能を犠牲にすることなく、任意のニューラルネットワークをPCBMに変換することができることを示す。
論文 参考訳(メタデータ) (2022-05-31T00:29:26Z) - Concept Bottleneck Model with Additional Unsupervised Concepts [0.5939410304994348]
概念ボトルネックモデル(CBM)に基づく新しい解釈可能なモデルを提案する。
CBMは概念ラベルを使用して、中間層を追加の可視層としてトレーニングする。
これら2つの概念をシームレスにトレーニングし,計算量を削減することにより,教師付き概念と教師なし概念を同時に得ることができる。
論文 参考訳(メタデータ) (2022-02-03T08:30:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。