論文の概要: Interpretable-by-Design Text Understanding with Iteratively Generated Concept Bottleneck
- arxiv url: http://arxiv.org/abs/2310.19660v2
- Date: Wed, 3 Apr 2024 14:29:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 22:56:57.443117
- Title: Interpretable-by-Design Text Understanding with Iteratively Generated Concept Bottleneck
- Title(参考訳): 反復生成概念ボトルネックを用いた解釈・設計テキスト理解
- Authors: Josh Magnus Ludan, Qing Lyu, Yue Yang, Liam Dugan, Mark Yatskar, Chris Callison-Burch,
- Abstract要約: ブラックボックスのディープニューラルネットワークはテキスト分類に優れているが、ハイテイクドメインへの応用は、解釈可能性の欠如によって妨げられている。
本稿では,グローバルおよびローカルな説明を提供する本質的に解釈可能なテキスト分類フレームワークであるText Bottleneck Models (TBM)を提案する。
- 参考スコア(独自算出の注目度): 46.015128326688234
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Black-box deep neural networks excel in text classification, yet their application in high-stakes domains is hindered by their lack of interpretability. To address this, we propose Text Bottleneck Models (TBM), an intrinsically interpretable text classification framework that offers both global and local explanations. Rather than directly predicting the output label, TBM predicts categorical values for a sparse set of salient concepts and uses a linear layer over those concept values to produce the final prediction. These concepts can be automatically discovered and measured by a Large Language Model (LLM) without the need for human curation. Experiments on 12 diverse text understanding datasets demonstrate that TBM can rival the performance of black-box baselines such as few-shot GPT-4 and finetuned DeBERTa while falling short against finetuned GPT-3.5. Comprehensive human evaluation validates that TBM can generate high-quality concepts relevant to the task, and the concept measurement aligns well with human judgments, suggesting that the predictions made by TBMs are interpretable. Overall, our findings suggest that TBM is a promising new framework that enhances interpretability with minimal performance tradeoffs.
- Abstract(参考訳): ブラックボックスのディープニューラルネットワークはテキスト分類に優れているが、ハイテイクドメインへの応用は、解釈可能性の欠如によって妨げられている。
そこで本研究では,グローバルかつ局所的な説明を提供する,本質的に解釈可能なテキスト分類フレームワークであるText Bottleneck Models (TBM)を提案する。
出力ラベルを直接予測するのではなく、TBMはスパースの概念セットのカテゴリー値を予測し、それらの概念値の上に線形層を用いて最終的な予測を生成する。
これらの概念は、人間のキュレーションを必要とせずに、LLM(Large Language Model)によって自動的に発見され、測定することができる。
12種類のテキスト理解データセットの実験により、TBMは小ショットのGPT-4や微調整のDeBERTaといったブラックボックスベースラインのパフォーマンスに匹敵し、微調整のGPT-3.5に対して不足していることが示された。
包括的人間評価は、TBMがタスクに関連する高品質な概念を生成できることを検証し、その概念測定は人間の判断とよく一致し、TBMによる予測が解釈可能であることを示唆する。
総じて,TBMはパフォーマンスのトレードオフを最小限に抑えて解釈可能性を高める,有望な新しいフレームワークであることを示唆している。
関連論文リスト
- Improving Concept Alignment in Vision-Language Concept Bottleneck Models [8.60196823664609]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力された画像を高レベルな人間の理解可能な概念空間にマッピングし、これらの概念に基づいてクラス予測を行う。
近年のアプローチでは、Large Language Models (LLM) にテキスト概念を生成させ、VLM (Vision Language Models) を使って概念スコアを取得してCBMを訓練することで、CBMの構築を自動化する。
本研究では,細粒鳥類種分類や動物分類などの分野において,専門家が定義した概念に対するVLM概念スコアの忠実度について,より精査する。
論文 参考訳(メタデータ) (2024-05-03T03:02:00Z) - Eliminating Information Leakage in Hard Concept Bottleneck Models with
Supervised, Hierarchical Concept Learning [17.982131928413096]
概念ボトルネックモデル(Concept Bottleneck Models、CBM)は、人間の理解できない概念で特徴やラベルをブリッジすることで、解釈可能で介入可能な予測を提供することを目的としている。
CBMは情報漏洩に悩まされ、概念以外の意図しない情報がその後のラベル予測にリークされる。
本稿では,CBMの新たなパラダイム,すなわちSupCBMを提案する。
論文 参考訳(メタデータ) (2024-02-03T03:50:58Z) - Can we Constrain Concept Bottleneck Models to Learn Semantically
Meaningful Input Features? [0.6993232019625149]
概念ボトルネックモデル(CBM)は、人間の定義した概念の集合を最初に予測するため、本質的に解釈可能であると考えられている。
固有解釈可能性を完全に実現するためには、意味的にマッピングされた入力機能に基づいて概念が予測されることを保証する必要がある。
我々はCBMが問題となる概念相関を取り除き,意味的マッピングによる概念表現を入力特徴へ学習できることを実証した。
論文 参考訳(メタデータ) (2024-02-01T10:18:43Z) - Sparsity-Guided Holistic Explanation for LLMs with Interpretable
Inference-Time Intervention [53.896974148579346]
大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。
LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。
本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
論文 参考訳(メタデータ) (2023-12-22T19:55:58Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z) - Can LLMs facilitate interpretation of pre-trained language models? [18.77022630961142]
本稿では,事前学習した言語モデルの微粒な解釈分析を可能にするための注釈として,大規模な言語モデルChatGPTを提案する。
文脈的表現に集約的階層的クラスタリングを適用することにより,事前学習言語モデル内の潜在概念を発見する。
以上の結果から,ChatGPTは人間のアノテーションよりも正確で意味的にリッチなアノテーションを生成することが明らかとなった。
論文 参考訳(メタデータ) (2023-05-22T18:03:13Z) - Post-hoc Concept Bottleneck Models [11.358495577593441]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力を解釈可能な概念のセットにマッピングし、その概念を用いて予測を行う。
CBMは、ボトルネックを学ぶためにトレーニングデータに概念ラベルを必要とするため、実際には制限があり、強い事前訓練されたモデルを活用しない。
解釈可能性の利点を保ちながら、モデル性能を犠牲にすることなく、任意のニューラルネットワークをPCBMに変換することができることを示す。
論文 参考訳(メタデータ) (2022-05-31T00:29:26Z) - TextFlint: Unified Multilingual Robustness Evaluation Toolkit for
Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。
普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。
TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文 参考訳(メタデータ) (2021-03-21T17:20:38Z) - A Minimalist Dataset for Systematic Generalization of Perception,
Syntax, and Semantics [131.93113552146195]
我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。
HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。
我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
論文 参考訳(メタデータ) (2021-03-02T01:32:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。