論文の概要: Interpretable-by-Design Text Classification with Iteratively Generated Concept Bottleneck

• arxiv url: http://arxiv.org/abs/2310.19660v1
• Date: Mon, 30 Oct 2023 15:41:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 19:32:55.136595
• Title: Interpretable-by-Design Text Classification with Iteratively Generated Concept Bottleneck
• Title（参考訳）: 反復生成概念ボトルネックを用いた解釈可能テキスト分類
• Authors: Josh Magnus Ludan, Qing Lyu, Yue Yang, Liam Dugan, Mark Yatskar, Chris Callison-Burch
• Abstract要約: Text Bottleneck Models (TBMs) は、グローバルとローカルの両方の説明を提供する、本質的に解釈可能なテキスト分類フレームワークである。 概念生成と測定の両方にGPT-4を用いた12種類の多様なデータセットにおいて,TBMが確立したブラックボックスベースラインの性能に匹敵することを示す。
• 参考スコア（独自算出の注目度）: 48.7583579950377
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks excel in text classification tasks, yet their application in high-stakes domains is hindered by their lack of interpretability. To address this, we propose Text Bottleneck Models (TBMs), an intrinsically interpretable text classification framework that offers both global and local explanations. Rather than directly predicting the output label, TBMs predict categorical values for a sparse set of salient concepts and use a linear layer over those concept values to produce the final prediction. These concepts can be automatically discovered and measured by a Large Language Model (LLM), without the need for human curation. On 12 diverse datasets, using GPT-4 for both concept generation and measurement, we show that TBMs can rival the performance of established black-box baselines such as GPT-4 fewshot and finetuned DeBERTa, while falling short against finetuned GPT-3.5. Overall, our findings suggest that TBMs are a promising new framework that enhances interpretability, with minimal performance tradeoffs, particularly for general-domain text.
• Abstract（参考訳）: ディープニューラルネットワークはテキスト分類タスクに優れるが、ハイテイクドメインへの応用は、解釈可能性の欠如によって妨げられている。 そこで本研究では,グローバルかつ局所的な説明を提供する,本質的に解釈可能なテキスト分類フレームワークであるText Bottleneck Models (TBMs)を提案する。 tbmsは出力ラベルを直接予測する代わりに、スパースな概念集合のカテゴリー値を予測し、それらの概念上の線形層を使用して最終的な予測を生成する。 これらの概念は、人間のキュレーションを必要とせずに、LLM(Large Language Model)によって自動的に発見され、測定することができる。 概念生成と測定の両方に GPT-4 を用いる12種類の多様なデータセットにおいて,TBM は GPT-4 fewshot や DeBERTa などの確立したブラックボックスベースラインに匹敵する性能を示す。 全体として、tbmsは、特に一般ドメインテキストにおいて、最小限のパフォーマンストレードオフで、解釈性を高める有望な新しいフレームワークであることを示唆している。

関連論文リスト

• VLG-CBM: Training Concept Bottleneck Models with Vision-Language Guidance [16.16577751549164]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念を符号化してモデルの決定を説明する中間概念ボトルネック層 (Concept Bottleneck Layer, CBL) を導入することで、解釈可能な予測を提供する。 近年、LLM(Large Language Models)とVLM(Valge-Language Models)を併用してCBMのトレーニングを自動化し、よりスケーラブルで自動化する研究が提案されている。 本稿では,VLG-CBM(Vision-Language-Guided Concept Bottleneck Model)を提案する。
  論文  参考訳（メタデータ） (2024-07-18T19:44:44Z)
• Self-supervised Interpretable Concept-based Models for Text Classification [9.340843984411137]
  本稿では,自己教師型解釈可能な概念埋め込みモデル(ICEM)を提案する。 我々は,大規模言語モデルの一般化能力を活用し,概念ラベルを自己管理的に予測する。 ICEMは、完全に教師されたコンセプトベースモデルやエンドツーエンドのブラックボックスモデルと同じようなパフォーマンスを達成するために、自己管理的な方法でトレーニングすることができる。
  論文  参考訳（メタデータ） (2024-06-20T14:04:53Z)
• InterpretCC: Intrinsic User-Centric Interpretability through Global Mixture of Experts [31.738009841932374]
  ニューラルネットワークの解釈性は、3つの重要な要件間のトレードオフである。 本稿では,人間中心の解釈可能性を保証する,解釈可能なニューラルネットワークのファミリであるInterpretCCを提案する。
  論文  参考訳（メタデータ） (2024-02-05T11:55:50Z)
• Eliminating Information Leakage in Hard Concept Bottleneck Models with Supervised, Hierarchical Concept Learning [17.982131928413096]
  概念ボトルネックモデル(Concept Bottleneck Models、CBM)は、人間の理解できない概念で特徴やラベルをブリッジすることで、解釈可能で介入可能な予測を提供することを目的としている。 CBMは情報漏洩に悩まされ、概念以外の意図しない情報がその後のラベル予測にリークされる。 本稿では,CBMの新たなパラダイム,すなわちSupCBMを提案する。
  論文  参考訳（メタデータ） (2024-02-03T03:50:58Z)
• Can we Constrain Concept Bottleneck Models to Learn Semantically Meaningful Input Features? [0.6401548653313325]
  概念ボトルネックモデル(CBM)は、人間の定義した概念の集合を最初に予測するため、本質的に解釈可能であるとみなされる。 現在の文献では、概念予測は無関係な入力特徴に依存することが多いことを示唆している。 本稿では,CBMが概念を意味的に意味のある入力特徴にマッピングできることを実証する。
  論文  参考訳（メタデータ） (2024-02-01T10:18:43Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。