論文の概要: Abstraction Alignment: Comparing Model and Human Conceptual Relationships
- arxiv url: http://arxiv.org/abs/2407.12543v1
- Date: Wed, 17 Jul 2024 13:27:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 17:07:03.144526
- Title: Abstraction Alignment: Comparing Model and Human Conceptual Relationships
- Title（参考訳）: 抽象アライメント:モデルと人間の概念的関係の比較
- Authors: Angie Boggust, Hyemin Bang, Hendrik Strobelt, Arvind Satyanarayan,
- Abstract要約: モデルが学習した抽象と期待される人間の抽象との一致を測定する手法である抽象アライメントを導入する。
評価タスクでは、抽象化アライメントがモデルの振る舞いとデータセットの内容をより深く理解します。
- 参考スコア（独自算出の注目度）: 26.503178592074757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Abstraction -- the process of generalizing specific examples into broad reusable patterns -- is central to how people efficiently process and store information and apply their knowledge to new data. Promisingly, research has shown that ML models learn representations that span levels of abstraction, from specific concepts like "bolo tie" and "car tire" to more general concepts like "CEO" and "model". However, existing techniques analyze these representations in isolation, treating learned concepts as independent artifacts rather than an interconnected web of abstraction. As a result, although we can identify the concepts a model uses to produce its output, it is difficult to assess if it has learned a human-aligned abstraction of the concepts that will generalize to new data. To address this gap, we introduce abstraction alignment, a methodology to measure the agreement between a model's learned abstraction and the expected human abstraction. We quantify abstraction alignment by comparing model outputs against a human abstraction graph, such as linguistic relationships or medical disease hierarchies. In evaluation tasks interpreting image models, benchmarking language models, and analyzing medical datasets, abstraction alignment provides a deeper understanding of model behavior and dataset content, differentiating errors based on their agreement with human knowledge, expanding the verbosity of current model quality metrics, and revealing ways to improve existing human abstractions.
- Abstract（参考訳）: 抽象化 — 特定の例を広範囲に再利用可能なパターンに一般化するプロセス — は、人々が情報を効率的に処理し、保存し、知識を新しいデータに適用する方法の中心である。
MLモデルは、"ボロタイ"や"カータイヤ"といった特定の概念から、"CEO"や"モデル"といったより一般的な概念まで、抽象化のレベルにまたがる表現を学びます。
しかし、既存の技術はこれらの表現を分離して分析し、学習された概念を相互接続された抽象の網ではなく独立した人工物として扱う。
その結果、モデルが出力を生成するために使用する概念を特定できるが、新しいデータに一般化する概念の人間による抽象化を学習したかどうかを評価することは困難である。
このギャップに対処するために、モデルの学習した抽象と期待される人間の抽象との一致を測定する手法である抽象化アライメントを導入する。
モデル出力を言語関係や医学的疾患階層といった人間の抽象グラフと比較することにより、抽象的アライメントを定量化する。
画像モデルの解釈、言語モデルのベンチマーク、医療データセットの分析において、抽象化アライメントは、モデルの振る舞いとデータセットの内容をより深く理解し、人間の知識との一致に基づいてエラーを識別し、現在のモデル品質メトリクスの冗長性を拡張し、既存の人間の抽象化を改善する方法を明らかにする。
関連論文リスト
- Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。
本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
論文 参考訳（メタデータ） (2024-04-03T22:39:33Z) - How to Handle Sketch-Abstraction in Sketch-Based Image Retrieval? [120.49126407479717]
スケッチの抽象化を様々なレベルで処理できるスケッチベース画像検索フレームワークを提案する。
粒度レベルの抽象理解のために、検索モデルはすべての抽象レベルを等しく扱ってはならないと規定する。
私たちのAcc.@qの損失は、評価がいかに厳格であるかという点で、スケッチが焦点を絞りたり壊したりできます。
論文 参考訳（メタデータ） (2024-03-11T23:08:29Z) - Neural Causal Abstractions [63.21695740637627]
我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。
本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。
本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
論文 参考訳（メタデータ） (2024-01-05T02:00:27Z) - The Relational Bottleneck as an Inductive Bias for Efficient Abstraction [3.19883356005403]
ニューラルネットワークはアーキテクチャを通して、個々の入力の属性ではなく、知覚的入力間の関係に焦点を絞っていることを示す。
データ効率のよい方法で抽象化を誘導するために、このアプローチを用いたモデルのファミリーをレビューする。
論文 参考訳（メタデータ） (2023-09-12T22:44:14Z) - Quantifying Consistency and Information Loss for Causal Abstraction
Learning [16.17846886492361]
我々は、エージェントがそのようなトレードオフを評価するために使用できる介入措置のファミリーを紹介する。
我々は,異なるタスクに適した4つの尺度を考察し,その特性を分析し,因果的抽象を評価・学習するためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-07T19:10:28Z) - Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。
本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-23T12:50:02Z) - Abstract Interpretation for Generalized Heuristic Search in Model-Based
Planning [50.96320003643406]
ドメイン・ジェネラル・モデル・ベース・プランナーは、しばしば記号的世界モデルの緩和を通じて探索を構築することによって一般性を導出する。
抽象解釈がこれらの抽象化の統一フレームワークとして機能し、よりリッチな世界モデルに探索の範囲を広げる方法について説明する。
また、これらは学習と統合することができ、エージェントは抽象的な情報を通じて、新しい世界のモデルで計画を開始することができる。
論文 参考訳（メタデータ） (2022-08-05T00:22:11Z) - Towards Computing an Optimal Abstraction for Structural Causal Models [16.17846886492361]
我々は抽象学習の問題に焦点をあてる。
我々は,情報損失の具体的な尺度を提案し,その新しい抽象化の学習への貢献について説明する。
論文 参考訳（メタデータ） (2022-08-01T14:35:57Z) - Translational Concept Embedding for Generalized Compositional Zero-shot
Learning [73.60639796305415]
一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。
本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
論文 参考訳（メタデータ） (2021-12-20T21:27:51Z) - Towards a Mathematical Theory of Abstraction [0.0]
抽象化とは何か、そしておそらくもっと重要なのは、データから直接抽象化がどのように学習できるかを示唆する正確な特徴付けを提供します。
この結果は統計的推論や機械学習に深く影響し,データから直接正確な抽象化を学習するための明示的な手法の開発に利用することができる。
論文 参考訳（メタデータ） (2021-06-03T13:23:49Z) - A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。
そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文 参考訳（メタデータ） (2020-09-25T12:01:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。