論文の概要: Analyzing Encoded Concepts in Transformer Language Models

• arxiv url: http://arxiv.org/abs/2206.13289v1
• Date: Mon, 27 Jun 2022 13:32:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 20:19:00.654566
• Title: Analyzing Encoded Concepts in Transformer Language Models
• Title（参考訳）: トランスフォーマー言語モデルにおける符号化概念の解析
• Authors: Hassan Sajjad, Nadir Durrani, Fahim Dalvi, Firoj Alam, Abdul Rafae Khan, Jia Xu
• Abstract要約: ConceptXは、事前訓練された言語モデル内で学習された表現において、潜伏概念がどのように符号化されるかを分析する。 クラスタリングを使用して、符号化された概念を発見し、人間の定義した概念の大規模なセットと整合してそれらを説明する。
• 参考スコア（独自算出の注目度）: 21.76062029833023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel framework ConceptX, to analyze how latent concepts are encoded in representations learned within pre-trained language models. It uses clustering to discover the encoded concepts and explains them by aligning with a large set of human-defined concepts. Our analysis on seven transformer language models reveal interesting insights: i) the latent space within the learned representations overlap with different linguistic concepts to a varying degree, ii) the lower layers in the model are dominated by lexical concepts (e.g., affixation), whereas the core-linguistic concepts (e.g., morphological or syntactic relations) are better represented in the middle and higher layers, iii) some encoded concepts are multi-faceted and cannot be adequately explained using the existing human-defined concepts.
• Abstract（参考訳）: 本稿では,事前学習した言語モデルで学習した表現に潜在概念がどのようにエンコードされるかを分析するための新しいフレームワークであるconceptxを提案する。 クラスタリングを使用して、符号化された概念を発見し、人間の定義した概念の大規模なセットと整合してそれらを説明する。 7つのトランスフォーマー言語モデルの解析から、興味深い知見が得られます。 一 学習した表現の中の潜伏空間は、異なる言語概念と異なる程度に重複していること。 二 モデルの下位層は、語彙的概念(例えば、接尾辞)によって支配される一方、中層と上位層では、中型言語学的な概念(例えば、形態的・統語的関係)がよりよく表される。 三 符号化された概念のいくつかは多面的であり、既存の人間定義概念を用いて適切に説明できない。

関連論文リスト

• A Concept-Based Explainability Framework for Large Multimodal Models [52.37626977572413]
  本稿では,トークン表現に適用した辞書学習に基づくアプローチを提案する。 これらの概念は、視覚とテキストの両方に意味論的に根ざしていることを示す。 抽出したマルチモーダル概念は,テストサンプルの表現の解釈に有用であることを示す。
  論文  参考訳（メタデータ） (2024-06-12T10:48:53Z)
• Concept Formation and Alignment in Language Models: Bridging Statistical Patterns in Latent Space to Concept Taxonomy [11.232704182001253]
  本稿では,言語モデル(LM)の領域における概念形成とアライメントについて考察する。 様々なLMで学習した意味表現において,概念とその階層構造を識別する機構を提案する。
  論文  参考訳（メタデータ） (2024-06-08T01:27:19Z)
• The Hidden Language of Diffusion Models [70.03691458189604]
  本稿では,テキスト概念の内部表現を拡散モデルで解釈する新しい手法であるConceptorを提案する。 概念間の驚くべき視覚的つながりは、それらのテキスト意味論を超越している。 我々はまた、模範的、偏見、名高い芸術様式、あるいは複数の意味の同時融合に依存する概念も発見する。
  論文  参考訳（メタデータ） (2023-06-01T17:57:08Z)
• Brain encoding models based on multimodal transformers can transfer across language and vision [60.72020004771044]
  我々は、マルチモーダルトランスフォーマーの表現を用いて、fMRI応答を物語や映画に転送できるエンコーディングモデルを訓練した。 1つのモードに対する脳の反応に基づいて訓練された符号化モデルは、他のモードに対する脳の反応をうまく予測できることがわかった。
  論文  参考訳（メタデータ） (2023-05-20T17:38:44Z)
• ConceptX: A Framework for Latent Concept Analysis [21.760620298330235]
  本稿では,言語モデル(pLM)における潜在表現空間の解釈と注釈付けを行うための,ループ型ヒューマン・イン・ザ・ループ・フレームワークであるConceptXを提案する。 我々は、教師なしの手法を用いて、これらのモデルで学んだ概念を発見し、人間が概念の説明を生成するためのグラフィカルインターフェースを実現する。
  論文  参考訳（メタデータ） (2022-11-12T11:31:09Z)
• Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
  概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。 我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。 我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
  論文  参考訳（メタデータ） (2022-08-31T17:06:46Z)
• Discovering Latent Concepts Learned in BERT [21.760620298330235]
  事前学習されたBERTモデルに潜伏概念が存在するかを検討する。 また、174のコンセプトラベルと1Mのアノテーション付きインスタンスからなる新しいBERT ConceptNetデータセット(BCN)もリリースした。
  論文  参考訳（メタデータ） (2022-05-15T09:45:34Z)
• The Conceptual VAE [7.15767183672057]
  本稿では,変分オートエンコーダの枠組みに基づく新しい概念モデルを提案する。 このモデルは、概念のβ-VAEモデルにインスパイアされ、密接に関連しています。 モデルが概念分類器としてどのように使用できるか、そしてインスタンス毎に少ないラベルから学習するためにどのように適応できるかを示す。
  論文  参考訳（メタデータ） (2022-03-21T17:27:28Z)
• Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
  概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。 次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。 最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
  論文  参考訳（メタデータ） (2022-02-25T01:27:31Z)
• Towards Visual Semantics [17.1623244298824]
  私たちは、人間の視覚的知覚の精神表現、すなわち概念の構築方法を研究します。 本稿では,分類概念と呼ばれる概念に対応する物質概念を学習する理論とアルゴリズムを提案する。 予備的な実験は、アルゴリズムが正しい精度で属と分化の概念を取得することを証明している。
  論文  参考訳（メタデータ） (2021-04-26T07:28:02Z)
• Formalising Concepts as Grounded Abstractions [68.24080871981869]
  このレポートは、表現学習が生データから概念を誘導する方法を示しています。 このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
  論文  参考訳（メタデータ） (2021-01-13T15:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。