論文の概要: Sample-efficient Learning of Concepts with Theoretical Guarantees: from Data to Concepts without Interventions

• arxiv url: http://arxiv.org/abs/2502.06536v1
• Date: Mon, 10 Feb 2025 15:01:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:35:03.372206
• Title: Sample-efficient Learning of Concepts with Theoretical Guarantees: from Data to Concepts without Interventions
• Title（参考訳）: 理論的保証を伴う概念のサンプル効率学習:データから干渉のない概念へ
• Authors: Hidde Fokkema, Tim van Erven, Sara Magliacane,
• Abstract要約: 概念ベースモデル(CBM)は、ラベルの予測に使用される画像などの高次元データから解釈可能な概念を学習する。 CBMにおける重要な問題は、概念リーク、すなわち学習された概念の急激な情報であり、事実上「間違った」概念を学ぶことにつながる。 本稿では,学習概念の正しさと必要なラベル数に関する理論的保証を提供する枠組みについて述べる。
• 参考スコア（独自算出の注目度）: 7.3784937557132855
• License:
• Abstract: Machine learning is a vital part of many real-world systems, but several concerns remain about the lack of interpretability, explainability and robustness of black-box AI systems. Concept-based models (CBM) address some of these challenges by learning interpretable concepts from high-dimensional data, e.g. images, which are used to predict labels. An important issue in CBMs is concept leakage, i.e., spurious information in the learned concepts, which effectively leads to learning "wrong" concepts. Current mitigating strategies are heuristic, have strong assumptions, e.g., they assume that the concepts are statistically independent of each other, or require substantial human interaction in terms of both interventions and labels provided by annotators. In this paper, we describe a framework that provides theoretical guarantees on the correctness of the learned concepts and on the number of required labels, without requiring any interventions. Our framework leverages causal representation learning (CRL) to learn high-level causal variables from low-level data, and learns to align these variables with interpretable concepts. We propose a linear and a non-parametric estimator for this mapping, providing a finite-sample high probability result in the linear case and an asymptotic consistency result for the non-parametric estimator. We implement our framework with state-of-the-art CRL methods, and show its efficacy in learning the correct concepts in synthetic and image benchmarks.
• Abstract（参考訳）: 機械学習は多くの現実世界のシステムにおいて重要な部分であるが、ブラックボックスAIシステムの解釈可能性、説明可能性、堅牢性の欠如についていくつかの懸念が残っている。 概念ベースモデル(CBM)は、ラベルの予測に使用される高次元データ、例えば画像から解釈可能な概念を学習することで、これらの課題に対処する。 CBMにおける重要な問題は、概念リーク、すなわち学習された概念の急激な情報であり、事実上「間違った」概念を学ぶことにつながる。 現在の緩和戦略はヒューリスティックであり、強い仮定を持ち、例えば、概念が統計的に互いに独立していると仮定する。 本稿では,学習概念の正しさと必要なラベル数に関する理論的保証を,介入を必要とせずに提供する枠組みについて述べる。 我々のフレームワークは、因果表現学習(CRL)を利用して、低レベルのデータから高レベルの因果変数を学習し、これらの変数を解釈可能な概念と整合させることを学ぶ。 この写像の線形および非パラメトリック推定器を提案し、線形の場合の有限サンプル高確率結果と非パラメトリック推定器の漸近整合結果を与える。 我々は,最先端のCRL手法を用いてフレームワークを実装し,合成および画像ベンチマークで正しい概念を学習する上での有効性を示す。

関連論文リスト

• Shortcuts and Identifiability in Concept-based Models from a Neuro-Symbolic Lens [19.324263034925796]
  概念ベースモデル(concept-based Model)は、入力を高レベルな概念にマッピングする概念抽出器と、これらを予測に変換する推論層を学習するニューラルネットワークである。 概念ベースモデルと推論ショートカット(RS)の新たな接続を確立することでこの問題を研究する。 具体的には、まずRSを概念ベースモデルのより複雑な設定に拡張し、次に概念と推論層の両方を識別するための理論的条件を導出する。
  論文  参考訳（メタデータ） (2025-02-16T19:45:09Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• CEIR: Concept-based Explainable Image Representation Learning [0.4198865250277024]
  本稿では,概念に基づく説明可能な画像表現(CEIR)を導入し,ラベルに依存しない高品質な表現を導出する。 提案手法は, CIFAR10, CIFAR100, STL10などのベンチマーク上で, 最先端の非教師付きクラスタリング性能を示す。 CEIRは、微調整なしで、オープンワールドイメージから関連概念をシームレスに抽出することができる。
  論文  参考訳（メタデータ） (2023-12-17T15:37:41Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Generalized Unbiased Scene Graph Generation [85.22334551067617]
  一般化Unbiased Scene Graph Generation (G-USGG)は、述語レベルと概念レベルの不均衡を考慮に入れている。 本稿では,まれ/非一般的/共通概念間のバランスの取れた学習プロセスを確実にするマルチコンセプト学習(MCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-09T08:51:03Z)
• Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
  概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。 本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
  論文  参考訳（メタデータ） (2023-04-27T09:58:15Z)
• Concept-Based Explanations for Tabular Data [0.0]
  ディープニューラルネットワーク(DNN)のための概念に基づく説明可能性を提案する。 本研究では,人間レベルの直観に合致する解釈可能性を示す手法の有効性を示す。 また,DNNのどの層がどの層を学習したのかを定量化したTCAVに基づく公平性の概念を提案する。
  論文  参考訳（メタデータ） (2022-09-13T02:19:29Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Learning Interpretable Concept-Based Models with Human Feedback [36.65337734891338]
  本研究では,ユーザが概念特徴をラベル付けすることに依存する高次元データにおいて,透明な概念定義の集合を学習するためのアプローチを提案する。 提案手法は,概念の意味を直感的に理解する概念と一致し,透過的な機械学習モデルにより下流ラベルの予測を容易にする概念を生成する。
  論文  参考訳（メタデータ） (2020-12-04T23:41:05Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。