論文の概要: ConceptX: A Framework for Latent Concept Analysis

• arxiv url: http://arxiv.org/abs/2211.06642v1
• Date: Sat, 12 Nov 2022 11:31:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 17:20:54.887925
• Title: ConceptX: A Framework for Latent Concept Analysis
• Title（参考訳）: ConceptX: 潜在概念分析のためのフレームワーク
• Authors: Firoj Alam and Fahim Dalvi and Nadir Durrani and Hassan Sajjad and Abdul Rafae Khan and Jia Xu
• Abstract要約: 本稿では,言語モデル(pLM)における潜在表現空間の解釈と注釈付けを行うための,ループ型ヒューマン・イン・ザ・ループ・フレームワークであるConceptXを提案する。 我々は、教師なしの手法を用いて、これらのモデルで学んだ概念を発見し、人間が概念の説明を生成するためのグラフィカルインターフェースを実現する。
• 参考スコア（独自算出の注目度）: 21.760620298330235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The opacity of deep neural networks remains a challenge in deploying solutions where explanation is as important as precision. We present ConceptX, a human-in-the-loop framework for interpreting and annotating latent representational space in pre-trained Language Models (pLMs). We use an unsupervised method to discover concepts learned in these models and enable a graphical interface for humans to generate explanations for the concepts. To facilitate the process, we provide auto-annotations of the concepts (based on traditional linguistic ontologies). Such annotations enable development of a linguistic resource that directly represents latent concepts learned within deep NLP models. These include not just traditional linguistic concepts, but also task-specific or sensitive concepts (words grouped based on gender or religious connotation) that helps the annotators to mark bias in the model. The framework consists of two parts (i) concept discovery and (ii) annotation platform.
• Abstract（参考訳）: 深いニューラルネットワークの不透明さは、説明が精度と同じくらい重要なソリューションをデプロイする上で依然として課題である。 本稿では,事前学習言語モデル(plm)における潜在表現空間の解釈と注釈付けのためのヒューマン・イン・ザ・ループフレームワークであるconceptxを提案する。 これらのモデルから学習した概念を教師なしの手法で発見し,その概念の説明を人間が生成できるようにする。 プロセスを容易にするため,概念の自動アノテーション(従来の言語オントロジーに基づく)を提供する。 このようなアノテーションは、深いNLPモデルで学んだ潜在概念を直接表現する言語資源の開発を可能にする。 これらは伝統的な言語概念だけでなく、アノテーターがモデルのバイアスを示すのに役立つタスク特化概念やセンシティブな概念(性別や宗教的な意味に基づく単語)も含まれる。 フレームワークは2つの部分で構成される (i)概念発見及び (ii)アノテーションプラットフォーム。

関連論文リスト

• ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
  ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。 これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。 実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-11T05:05:01Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Text-to-Image Generation for Abstract Concepts [76.32278151607763]
  抽象概念のためのテキスト・画像生成フレームワーク(TIAC)を提案する。 抽象概念は曖昧さを避けるための詳細な定義で明確な意図に明確化されている。 LLM抽出フォームパターンセットから概念依存型フォームを検索する。
  論文  参考訳（メタデータ） (2023-09-26T02:22:39Z)
• Can LLMs facilitate interpretation of pre-trained language models? [18.77022630961142]
  本稿では,事前学習した言語モデルの微粒な解釈分析を可能にするための注釈として,大規模な言語モデルChatGPTを提案する。 文脈的表現に集約的階層的クラスタリングを適用することにより,事前学習言語モデル内の潜在概念を発見する。 以上の結果から,ChatGPTは人間のアノテーションよりも正確で意味的にリッチなアノテーションを生成することが明らかとなった。
  論文  参考訳（メタデータ） (2023-05-22T18:03:13Z)
• Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
  概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。 本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
  論文  参考訳（メタデータ） (2023-04-27T09:58:15Z)
• Analyzing Encoded Concepts in Transformer Language Models [21.76062029833023]
  ConceptXは、事前訓練された言語モデル内で学習された表現において、潜伏概念がどのように符号化されるかを分析する。 クラスタリングを使用して、符号化された概念を発見し、人間の定義した概念の大規模なセットと整合してそれらを説明する。
  論文  参考訳（メタデータ） (2022-06-27T13:32:10Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)
• Discovering Latent Concepts Learned in BERT [21.760620298330235]
  事前学習されたBERTモデルに潜伏概念が存在するかを検討する。 また、174のコンセプトラベルと1Mのアノテーション付きインスタンスからなる新しいBERT ConceptNetデータセット(BCN)もリリースした。
  論文  参考訳（メタデータ） (2022-05-15T09:45:34Z)
• Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
  概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。 次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。 最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
  論文  参考訳（メタデータ） (2022-02-25T01:27:31Z)
• Formalising Concepts as Grounded Abstractions [68.24080871981869]
  このレポートは、表現学習が生データから概念を誘導する方法を示しています。 このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
  論文  参考訳（メタデータ） (2021-01-13T15:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。