論文の概要: Shortcuts and Identifiability in Concept-based Models from a Neuro-Symbolic Lens

• arxiv url: http://arxiv.org/abs/2502.11245v1
• Date: Sun, 16 Feb 2025 19:45:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:41.034311
• Title: Shortcuts and Identifiability in Concept-based Models from a Neuro-Symbolic Lens
• Title（参考訳）: ニューロシンボリックレンズを用いた概念モデルにおけるショートカットと識別可能性
• Authors: Samuele Bortolotti, Emanuele Marconato, Paolo Morettin, Andrea Passerini, Stefano Teso,
• Abstract要約: 概念ベースモデル(concept-based Model)は、入力を高レベルな概念にマッピングする概念抽出器と、これらを予測に変換する推論層を学習するニューラルネットワークである。 概念ベースモデルと推論ショートカット(RS)の新たな接続を確立することでこの問題を研究する。 具体的には、まずRSを概念ベースモデルのより複雑な設定に拡張し、次に概念と推論層の両方を識別するための理論的条件を導出する。
• 参考スコア（独自算出の注目度）: 19.324263034925796
• License:
• Abstract: Concept-based Models are neural networks that learn a concept extractor to map inputs to high-level concepts and an inference layer to translate these into predictions. Ensuring these modules produce interpretable concepts and behave reliably in out-of-distribution is crucial, yet the conditions for achieving this remain unclear. We study this problem by establishing a novel connection between Concept-based Models and reasoning shortcuts (RSs), a common issue where models achieve high accuracy by learning low-quality concepts, even when the inference layer is fixed and provided upfront. Specifically, we first extend RSs to the more complex setting of Concept-based Models and then derive theoretical conditions for identifying both the concepts and the inference layer. Our empirical results highlight the impact of reasoning shortcuts and show that existing methods, even when combined with multiple natural mitigation strategies, often fail to meet these conditions in practice.
• Abstract（参考訳）: 概念ベースモデル(concept-based Model)は、入力を高レベルな概念にマッピングする概念抽出器と、これらを予測に変換する推論層を学習するニューラルネットワークである。 これらのモジュールが解釈可能な概念を生み出し、配布外において確実に振る舞うことは重要であるが、それを達成するための条件はいまだ不明である。 推論層を固定し,事前に設けた場合でも,低品質の概念を学習することで,モデルが高い精度を達成できる共通問題である,概念ベースモデルと推論ショートカット(RS)の新たな接続を確立することにより,この問題を考察する。 具体的には、まずRSを概念ベースモデルのより複雑な設定に拡張し、次に概念と推論層の両方を識別するための理論的条件を導出する。 実験結果から,複数の自然緩和戦略が組み合わさっても,これらの条件を実際に満たさない場合が多いことが示唆された。

関連論文リスト

• Concept Layers: Enhancing Interpretability and Intervenability via LLM Conceptualization [2.163881720692685]
  本稿では,概念層をアーキテクチャに組み込むことにより,解釈可能性とインターベンタビリティを既存モデルに組み込む新しい手法を提案する。 我々のアプローチは、モデルの内部ベクトル表現を、再構成してモデルにフィードバックする前に、概念的で説明可能なベクトル空間に投影する。 複数のタスクにまたがるCLを評価し、本来のモデルの性能と合意を維持しつつ、意味のある介入を可能にしていることを示す。
  論文  参考訳（メタデータ） (2025-02-19T11:10:19Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
  本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。 ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。 このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
  論文  参考訳（メタデータ） (2024-05-24T17:19:57Z)
• Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。 既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。 本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
  論文  参考訳（メタデータ） (2024-05-02T17:59:01Z)
• A Self-explaining Neural Architecture for Generalizable Concept Learning [29.932706137805713]
  現在,SOTA の概念学習アプローチは,概念の忠実さの欠如と,概念の相互運用の限界という2つの大きな問題に悩まされている。 ドメイン間の概念学習のための新しい自己説明型アーキテクチャを提案する。 提案手法は,現在広く使われている4つの実世界のデータセットに対するSOTA概念学習手法に対して有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-01T06:50:18Z)
• Learning to Receive Help: Intervention-Aware Concept Embedding Models [44.1307928713715]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、高レベルの概念セットを使用して予測を構築し、説明することによって、ニューラルネットワークの不透明さに対処する。 近年の研究では、介入効果は概念が介入される順序に大きく依存していることが示されている。 IntCEM(Intervention-Aware Concept Embedding Model)は,テスト時間介入に対するモデルの受容性を改善する新しいCBMアーキテクチャとトレーニングパラダイムである。
  論文  参考訳（メタデータ） (2023-09-29T02:04:24Z)
• Sparse Linear Concept Discovery Models [11.138948381367133]
  概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、隠蔽層が人間の理解可能な概念に結びついている一般的なアプローチである。 本稿では,Contrastive Language Imageモデルと単一スパース線形層に基づく,シンプルかつ直感的に解釈可能なフレームワークを提案する。 実験により、我々のフレームワークは、最近のCBMアプローチを精度的に上回るだけでなく、一例あたりの疎度も高いことを示す。
  論文  参考訳（メタデータ） (2023-08-21T15:16:19Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
  概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。 本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
  論文  参考訳（メタデータ） (2023-04-27T09:58:15Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。