論文の概要: Concept frustration: Aligning human concepts and machine representations
- arxiv url: http://arxiv.org/abs/2603.29654v1
- Date: Tue, 31 Mar 2026 12:17:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-01 15:25:03.60681
- Title: Concept frustration: Aligning human concepts and machine representations
- Title(参考訳): 概念フラストレーション:人間の概念と機械表現の調整
- Authors: Enrico Parisini, Christopher J. Soelistyo, Ahab Isaac, Alessandro Barp, Christopher R. S. Banerji,
- Abstract要約: 基礎モデル埋め込みから抽出した教師なし中間表現と教師なし人間概念を比較するための枠組みを提案する。
科学的発見における概念的飛躍の役割に感銘を受け、概念的フラストレーションの概念を定式化する。
我々は,教師付き概念ベースモデルと教師なし表現の間の概念フラストレーションを検出するタスク整合類似度尺度を開発した。
- 参考スコア(独自算出の注目度): 39.50576817657001
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aligning human-interpretable concepts with the internal representations learned by modern machine learning systems remains a central challenge for interpretable AI. We introduce a geometric framework for comparing supervised human concepts with unsupervised intermediate representations extracted from foundation model embeddings. Motivated by the role of conceptual leaps in scientific discovery, we formalise the notion of concept frustration: a contradiction that arises when an unobserved concept induces relationships between known concepts that cannot be made consistent within an existing ontology. We develop task-aligned similarity measures that detect concept frustration between supervised concept-based models and unsupervised representations derived from foundation models, and show that the phenomenon is detectable in task-aligned geometry while conventional Euclidean comparisons fail. Under a linear-Gaussian generative model we derive a closed-form expression for Bayes-optimal concept-based classifier accuracy, decomposing predictive signal into known-known, known-unknown and unknown-unknown contributions and identifying analytically where frustration affects performance. Experiments on synthetic data and real language and vision tasks demonstrate that frustration can be detected in foundation model representations and that incorporating a frustrating concept into an interpretable model reorganises the geometry of learned concept representations, to better align human and machine reasoning. These results suggest a principled framework for diagnosing incomplete concept ontologies and aligning human and machine conceptual reasoning, with implications for the development and validation of safe interpretable AI for high-risk applications.
- Abstract(参考訳): 現代の機械学習システムによって学習された内部表現による人間解釈可能な概念の調整は、AIの解釈に依然として中心的な課題である。
基礎モデル埋め込みから抽出した教師なし中間表現と教師付き人間の概念を比較するための幾何学的枠組みを提案する。
科学的な発見における概念的飛躍の役割に動機付けられ、我々は概念的フラストレーションの概念を定式化した: 未観測の概念が既存のオントロジー内では一貫性のない既知の概念間の関係を誘導した時に生じる矛盾である。
本研究では,教師付き概念ベースモデルと基礎モデルから派生した教師なし表現とのコンセプトフラストレーションを検出するタスク整合類似度尺度を開発し,従来のユークリッド比較が失敗しながら,タスク整合幾何学においてその現象が検出可能であることを示す。
線形ガウス生成モデルの下では、ベイズ最適概念に基づく分類器の精度の閉形式表現を導出し、予測信号を既知の未知の未知のコントリビューションに分解し、フラストレーションがパフォーマンスに影響を及ぼす分析的要因を特定する。
合成データと実言語および視覚タスクの実験は、基礎モデル表現においてフラストレーションが検出できることを示し、解釈可能なモデルにフラストレーションを組み込むことで、学習された概念表現の幾何学を再編成し、人間と機械の推論をより良く整合させることを示した。
これらの結果は、不完全な概念オントロジーの診断と人間と機械の概念的推論の整合化のための原則的枠組みを示唆し、高リスクアプリケーションに対する安全な解釈可能なAIの開発と検証に寄与することを示唆している。
関連論文リスト
- Rethinking Concept Bottleneck Models: From Pitfalls to Solutions [53.84388497227224]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念の基底予測である。
CBM-Suiteはこれらの課題に対処するための方法論的なフレームワークである。
論文 参考訳(メタデータ) (2026-03-05T19:37:49Z) - FaCT: Faithful Concept Traces for Explaining Neural Network Decisions [56.796533084868884]
ディープネットワークは、幅広いタスクで顕著なパフォーマンスを示しているが、それらの機能に関するグローバルな概念レベルの理解は、依然として重要な課題である。
本稿では,概念に基づく説明の忠実さを強調し,モデル独立な機械的概念説明を用いた新しいモデルを提案する。
私たちの概念はクラス間で共有され、あらゆるレイヤから、ロジットへの貢献と入力-視覚化を忠実にトレースすることができます。
論文 参考訳(メタデータ) (2025-10-29T13:35:46Z) - Towards Better Generalization and Interpretability in Unsupervised Concept-Based Models [9.340843984411137]
本稿では、LCBM(Learningable Concept-Based Model)という、画像分類のための教師なし概念ベースモデルを提案する。
我々はLCBMが既存の教師なし概念ベースモデルを上回る一般化能力を示し、ブラックボックスモデルの性能とほぼ一致することを示した。
概念埋め込みの利用にもかかわらず、我々は概念の局所的な線形結合によるモデル解釈可能性を維持している。
論文 参考訳(メタデータ) (2025-06-02T16:26:41Z) - On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
マルチモーダル生成モデルは 信頼性 公正性 誤用の可能性について 批判的な議論を巻き起こしました
埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。
提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
論文 参考訳(メタデータ) (2024-11-21T09:46:55Z) - Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。
我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。
我々は、理論的な主張を合成データ実験で裏付ける。
論文 参考訳(メタデータ) (2024-06-01T18:01:03Z) - Understanding Inter-Concept Relationships in Concept-Based Models [12.229150338065828]
概念モデルによって学習された概念表現を分析し、これらのモデルが概念間の関係を正しく捉えているかどうかを理解する。
まず、最先端の概念に基づくモデルが、安定性と堅牢性に欠ける表現を生成することを実証的に示し、そのような手法は概念間の関係を捉えるのに失敗する。
そこで我々は,概念間関係を利用して概念介入の精度を向上させる新しいアルゴリズムを開発した。
論文 参考訳(メタデータ) (2024-05-28T14:20:49Z) - Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。
本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
論文 参考訳(メタデータ) (2023-04-27T09:58:15Z) - GlanceNets: Interpretabile, Leak-proof Concept-based Models [23.7625973884849]
概念ベースモデル(CBM)は、高レベルの概念の語彙の獲得と推論によって、ハイパフォーマンスと解釈可能性を組み合わせる。
我々は、モデル表現と基礎となるデータ生成プロセスとの整合性の観点から、解釈可能性を明確に定義する。
GlanceNetsは不整合表現学習とオープンセット認識の技法を利用してアライメントを実現する新しいCBMである。
論文 参考訳(メタデータ) (2022-05-31T08:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。