論文の概要: Achieving Data Efficient Neural Networks with Hybrid Concept-based Models

• arxiv url: http://arxiv.org/abs/2408.07438v1
• Date: Wed, 14 Aug 2024 10:15:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 13:44:31.219542
• Title: Achieving Data Efficient Neural Networks with Hybrid Concept-based Models
• Title（参考訳）: ハイブリッド概念モデルによるデータ効率の良いニューラルネットワークの実現
• Authors: Tobias A. Opsahl, Vegard Antun,
• Abstract要約: クラスラベルと概念と呼ばれるデータセットの付加情報の両方をトレーニングする2つの新しいモデルアーキテクチャを導入する。 ハイブリッドの概念に基づくモデルは、特にスパースデータ設定において、精度に関して、標準的なコンピュータビジョンモデルよりも優れていることを示す。 また,概念ベースモデルの概念予測を変更せずに,クラス予測を変更する方法で,画像が摂動されるような,敵対的概念攻撃を行うアルゴリズムも導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most datasets used for supervised machine learning consist of a single label per data point. However, in cases where more information than just the class label is available, would it be possible to train models more efficiently? We introduce two novel model architectures, which we call hybrid concept-based models, that train using both class labels and additional information in the dataset referred to as concepts. In order to thoroughly assess their performance, we introduce ConceptShapes, an open and flexible class of datasets with concept labels. We show that the hybrid concept-based models outperform standard computer vision models and previously proposed concept-based models with respect to accuracy, especially in sparse data settings. We also introduce an algorithm for performing adversarial concept attacks, where an image is perturbed in a way that does not change a concept-based model's concept predictions, but changes the class prediction. The existence of such adversarial examples raises questions about the interpretable qualities promised by concept-based models.
• Abstract（参考訳）: 教師付き機械学習に使用されるほとんどのデータセットは、データポイント毎に1つのラベルで構成されている。 しかし、単にクラスラベル以上の情報が得られている場合、モデルをより効率的にトレーニングできるだろうか? 2つの新しいモデルアーキテクチャを導入し、これをハイブリッド概念ベースモデルと呼び、クラスラベルと概念と呼ばれるデータセットの付加情報をトレーニングする。 それらの性能を徹底的に評価するために,概念ラベル付きオープンで柔軟なデータセットのクラスであるConceptShapesを紹介した。 本稿では,従来のコンピュータビジョンモデルと従来提案されていたコンセプトベースモデルとを,特にスパースデータ設定において比較した。 また,概念ベースモデルの概念予測を変更せずに,クラス予測を変更する方法で,画像が摂動されるような,敵対的概念攻撃を行うアルゴリズムも導入する。 このような敵対的な例の存在は、概念に基づくモデルによって約束される解釈可能な品質に関する疑問を提起する。

関連論文リスト

• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• Concept Bottleneck Models Without Predefined Concepts [26.156636891713745]
  入力に依存した概念選択機構を導入し、すべてのクラスで小さな概念のサブセットが使用されることを保証します。 提案手法は, ダウンストリーム性能を改善し, ブラックボックスモデルの性能ギャップを狭めるものである。
  論文  参考訳（メタデータ） (2024-07-04T13:34:50Z)
• Restyling Unsupervised Concept Based Interpretable Networks with Generative Models [14.604305230535026]
  本稿では,事前学習された生成モデルの潜在空間に概念特徴をマッピングすることに依存する新しい手法を提案する。 本手法の有効性を,解釈可能な予測ネットワークの精度,再現性,学習概念の忠実性,一貫性の観点から定量的に検証した。
  論文  参考訳（メタデータ） (2024-07-01T14:39:41Z)
• Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
  概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。 CBMには、さらなる概念のセットが必要である。 CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-04-04T09:43:43Z)
• Attributing Learned Concepts in Neural Networks to Training Data [5.930268338525991]
  コンバージェンス(収束)の証拠として,概念の上位1万個の画像を取り除き,モデルの再トレーニングを行うと,ネットワーク内の概念の位置が変化しない。 このことは、概念の発達を知らせる特徴が、概念形成の堅牢さを暗示して、その先例にまたがるより拡散した方法で広がることを示唆している。
  論文  参考訳（メタデータ） (2023-10-04T20:26:59Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• ConceptDistil: Model-Agnostic Distillation of Concept Explanations [4.462334751640166]
  概念に基づく説明は、非技術的人間のためのモデルの解釈可能性ギャップを埋めることを目的としている。 知識蒸留を用いたブラックボックス分類器に概念記述をもたらす方法であるConceptDistilを提案する。 実世界のユースケースでConceptDistilを検証することで、両方のタスクを最適化できることを示す。
  論文  参考訳（メタデータ） (2022-05-07T08:58:54Z)
• Concept Bottleneck Model with Additional Unsupervised Concepts [0.5939410304994348]
  概念ボトルネックモデル(CBM)に基づく新しい解釈可能なモデルを提案する。 CBMは概念ラベルを使用して、中間層を追加の可視層としてトレーニングする。 これら2つの概念をシームレスにトレーニングし,計算量を削減することにより,教師付き概念と教師なし概念を同時に得ることができる。
  論文  参考訳（メタデータ） (2022-02-03T08:30:51Z)
• What do we expect from Multiple-choice QA Systems? [70.86513724662302]
  複数のMultiple Choice Question Answering(MCQA)データセット上で,トップパフォーマンスモデルを検討する。 このようなモデルから得られる可能性のある一連の期待値に対して、モデル入力のゼロ情報摂動を用いて評価する。
  論文  参考訳（メタデータ） (2020-11-20T21:27:10Z)
• Concept Bottleneck Models [79.91795150047804]
  現在の最先端モデルは、通常「骨の支柱の存在」のような概念の操作をサポートしない。 トレーニング時に提供される概念を最初に予測し、ラベルを予測するためにこれらの概念を使用するという古典的な考え方を再考する。 X線グレーディングと鳥の識別では、概念ボトルネックモデルが標準のエンドツーエンドモデルと競合する精度を達成する。
  論文  参考訳（メタデータ） (2020-07-09T07:47:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。