論文の概要: Auxiliary Losses for Learning Generalizable Concept-based Models
- arxiv url: http://arxiv.org/abs/2311.11108v1
- Date: Sat, 18 Nov 2023 15:50:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 10:15:33.795835
- Title: Auxiliary Losses for Learning Generalizable Concept-based Models
- Title（参考訳）: 一般化概念モデル学習のための補助損失
- Authors: Ivaxi Sheth, Samira Ebrahimi Kahou
- Abstract要約: コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。
CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。
本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
- 参考スコア（独自算出の注目度）: 5.4066453042367435
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing use of neural networks in various applications has lead to
increasing apprehensions, underscoring the necessity to understand their
operations beyond mere final predictions. As a solution to enhance model
transparency, Concept Bottleneck Models (CBMs) have gained popularity since
their introduction. CBMs essentially limit the latent space of a model to
human-understandable high-level concepts. While beneficial, CBMs have been
reported to often learn irrelevant concept representations that consecutively
damage model performance. To overcome the performance trade-off, we propose
cooperative-Concept Bottleneck Model (coop-CBM). The concept representation of
our model is particularly meaningful when fine-grained concept labels are
absent. Furthermore, we introduce the concept orthogonal loss (COL) to
encourage the separation between the concept representations and to reduce the
intra-concept distance. This paper presents extensive experiments on real-world
datasets for image classification tasks, namely CUB, AwA2, CelebA and TIL. We
also study the performance of coop-CBM models under various distributional
shift settings. We show that our proposed method achieves higher accuracy in
all distributional shift settings even compared to the black-box models with
the highest concept accuracy.
- Abstract（参考訳）: さまざまなアプリケーションでニューラルネットワークが使われるようになると、理解が高まり、最終的な予測以上の操作を理解する必要性が高まる。
モデルの透明性を高めるソリューションとして、Concept Bottleneck Models (CBM) が導入された。
CBMは基本的に、モデルの潜在空間を人間の理解可能な高レベルな概念に制限する。
有益ではあるが、CBMはモデル性能を連続的に損なう無関係な概念表現を学ぶことがしばしば報告されている。
性能トレードオフを克服するために,協調概念ボトルネックモデル(coop-CBM)を提案する。
我々のモデルの概念表現は、きめ細かい概念ラベルがない場合に特に意味がある。
さらに,概念表現の分離を促進し,概念内距離を低減するために,直交損失(COL)の概念を導入する。
本稿では,画像分類タスク(cub, awa2, celeba, til)のための実世界のデータセットに関する広範な実験を行う。
また,様々な分散シフト設定下でのクープCBMモデルの性能についても検討した。
提案手法は,概念精度の高いブラックボックスモデルと比較して,すべての分布シフト設定において高い精度が得られることを示す。
関連論文リスト
- How to Continually Adapt Text-to-Image Diffusion Models for Flexible Customization? [91.49559116493414]
本稿では,CIDM(Concept-Incremental Text-to-image Diffusion Model)を提案する。
破滅的な忘れと概念の無視を解決し、新しいカスタマイズタスクを概念的な方法で学習する。
実験により、CIDMが既存のカスタム拡散モデルを上回ることが確認された。
論文 参考訳（メタデータ） (2024-10-23T06:47:29Z) - Linking Robustness and Generalization: A k* Distribution Analysis of Concept Clustering in Latent Space for Vision Models [56.89974470863207]
本稿では,局所的近傍解析手法であるk*分布を用いて,個々の概念のレベルで学習された潜伏空間について検討する。
視覚モデルの潜在空間の全体的品質を評価するために、個々の概念を解釈するための歪度に基づく真および近似メトリクスを導入する。
論文 参考訳（メタデータ） (2024-08-17T01:43:51Z) - Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。
本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。
我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
論文 参考訳（メタデータ） (2024-07-19T17:50:11Z) - Concept Bottleneck Models Without Predefined Concepts [26.156636891713745]
入力に依存した概念選択機構を導入し、すべてのクラスで小さな概念のサブセットが使用されることを保証します。
提案手法は, ダウンストリーム性能を改善し, ブラックボックスモデルの性能ギャップを狭めるものである。
論文 参考訳（メタデータ） (2024-07-04T13:34:50Z) - Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。
既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。
本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
論文 参考訳（メタデータ） (2024-05-02T17:59:01Z) - Incremental Residual Concept Bottleneck Models [29.388549499546556]
Concept Bottleneck Models (CBM) は、ディープニューラルネットワークによって抽出されたブラックボックスの視覚表現を、解釈可能な概念のセットにマッピングする。
本稿では,概念完全性の課題を解決するために,インクリメンタル・Residual Concept Bottleneck Model (Res-CBM)を提案する。
提案手法は,任意のCBMの性能向上を目的としたポストホック処理法として,ユーザ定義の概念バンクに適用できる。
論文 参考訳（メタデータ） (2024-04-13T12:02:19Z) - Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。
CBMには、さらなる概念のセットが必要である。
CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
論文 参考訳（メタデータ） (2024-04-04T09:43:43Z) - Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。
後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。
広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
論文 参考訳（メタデータ） (2024-02-03T11:10:57Z) - Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable? [8.391254800873599]
本稿では,設計によって解釈できない事前学習型ニューラルネットワークに対して,概念に基づく介入を行う手法を提案する。
我々は、インターベンタビリティの概念を概念に基づく介入の有効性の尺度として定式化し、この定義を微調整ブラックボックスに活用する。
論文 参考訳（メタデータ） (2024-01-24T16:02:14Z) - I saw, I conceived, I concluded: Progressive Concepts as Bottlenecks [2.9398911304923447]
概念ボトルネックモデル(CBM)は、予測中間概念の修正による推論時の説明可能性と介入を提供する。
これにより、CBMは高い意思決定に魅力的なものとなる。
胎児超音波検査の品質評価を,医療におけるCBM意思決定支援の現実的ユースケースとして捉えた。
論文 参考訳（メタデータ） (2022-11-19T09:31:19Z) - Concept Bottleneck Model with Additional Unsupervised Concepts [0.5939410304994348]
概念ボトルネックモデル(CBM)に基づく新しい解釈可能なモデルを提案する。
CBMは概念ラベルを使用して、中間層を追加の可視層としてトレーニングする。
これら2つの概念をシームレスにトレーニングし,計算量を削減することにより,教師付き概念と教師なし概念を同時に得ることができる。
論文 参考訳（メタデータ） (2022-02-03T08:30:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。