論文の概要: Analyzing Encoded Concepts in Transformer Language Models

• arxiv url: http://arxiv.org/abs/2206.13289v1
• Date: Mon, 27 Jun 2022 13:32:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 20:19:00.654566
• Title: Analyzing Encoded Concepts in Transformer Language Models
• Title（参考訳）: トランスフォーマー言語モデルにおける符号化概念の解析
• Authors: Hassan Sajjad, Nadir Durrani, Fahim Dalvi, Firoj Alam, Abdul Rafae Khan, Jia Xu
• Abstract要約: ConceptXは、事前訓練された言語モデル内で学習された表現において、潜伏概念がどのように符号化されるかを分析する。 クラスタリングを使用して、符号化された概念を発見し、人間の定義した概念の大規模なセットと整合してそれらを説明する。
• 参考スコア（独自算出の注目度）: 21.76062029833023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel framework ConceptX, to analyze how latent concepts are encoded in representations learned within pre-trained language models. It uses clustering to discover the encoded concepts and explains them by aligning with a large set of human-defined concepts. Our analysis on seven transformer language models reveal interesting insights: i) the latent space within the learned representations overlap with different linguistic concepts to a varying degree, ii) the lower layers in the model are dominated by lexical concepts (e.g., affixation), whereas the core-linguistic concepts (e.g., morphological or syntactic relations) are better represented in the middle and higher layers, iii) some encoded concepts are multi-faceted and cannot be adequately explained using the existing human-defined concepts.
• Abstract（参考訳）: 本稿では,事前学習した言語モデルで学習した表現に潜在概念がどのようにエンコードされるかを分析するための新しいフレームワークであるconceptxを提案する。 クラスタリングを使用して、符号化された概念を発見し、人間の定義した概念の大規模なセットと整合してそれらを説明する。 7つのトランスフォーマー言語モデルの解析から、興味深い知見が得られます。 一 学習した表現の中の潜伏空間は、異なる言語概念と異なる程度に重複していること。 二 モデルの下位層は、語彙的概念(例えば、接尾辞)によって支配される一方、中層と上位層では、中型言語学的な概念(例えば、形態的・統語的関係)がよりよく表される。 三 符号化された概念のいくつかは多面的であり、既存の人間定義概念を用いて適切に説明できない。

関連論文リスト

• Human-like conceptual representations emerge from language prediction [72.5875173689788]
  大型言語モデル(LLM)における人間に似た概念表現の出現について検討した。 その結果、LLMは定義記述から概念を推論し、共有された文脈に依存しない構造に収束する表現空間を構築することができた。 我々の研究は、LLMが複雑な人間の認知を理解するための貴重なツールであり、人工知能と人間の知能の整合性を高めるための道を開くという見解を支持している。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• OmniPrism: Learning Disentangled Visual Concept for Image Generation [57.21097864811521]
  創造的な視覚概念の生成は、しばしば関連する結果を生み出すために参照イメージ内の特定の概念からインスピレーションを引き出す。 我々は,創造的画像生成のための視覚的概念分離手法であるOmniPrismを提案する。 提案手法は,自然言語で案内される不整合概念表現を学習し,これらの概念を組み込むために拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-12-16T18:59:52Z)
• Concept Formation and Alignment in Language Models: Bridging Statistical Patterns in Latent Space to Concept Taxonomy [11.232704182001253]
  本稿では,言語モデル(LM)の領域における概念形成とアライメントについて考察する。 様々なLMで学習した意味表現において,概念とその階層構造を識別する機構を提案する。
  論文  参考訳（メタデータ） (2024-06-08T01:27:19Z)
• The Hidden Language of Diffusion Models [70.03691458189604]
  本稿では,テキスト概念の内部表現を拡散モデルで解釈する新しい手法であるConceptorを提案する。 概念間の驚くべき視覚的つながりは、それらのテキスト意味論を超越している。 我々はまた、模範的、偏見、名高い芸術様式、あるいは複数の意味の同時融合に依存する概念も発見する。
  論文  参考訳（メタデータ） (2023-06-01T17:57:08Z)
• Brain encoding models based on multimodal transformers can transfer across language and vision [60.72020004771044]
  我々は、マルチモーダルトランスフォーマーの表現を用いて、fMRI応答を物語や映画に転送できるエンコーディングモデルを訓練した。 1つのモードに対する脳の反応に基づいて訓練された符号化モデルは、他のモードに対する脳の反応をうまく予測できることがわかった。
  論文  参考訳（メタデータ） (2023-05-20T17:38:44Z)
• ConceptX: A Framework for Latent Concept Analysis [21.760620298330235]
  本稿では,言語モデル(pLM)における潜在表現空間の解釈と注釈付けを行うための,ループ型ヒューマン・イン・ザ・ループ・フレームワークであるConceptXを提案する。 我々は、教師なしの手法を用いて、これらのモデルで学んだ概念を発見し、人間が概念の説明を生成するためのグラフィカルインターフェースを実現する。
  論文  参考訳（メタデータ） (2022-11-12T11:31:09Z)
• Discovering Latent Concepts Learned in BERT [21.760620298330235]
  事前学習されたBERTモデルに潜伏概念が存在するかを検討する。 また、174のコンセプトラベルと1Mのアノテーション付きインスタンスからなる新しいBERT ConceptNetデータセット(BCN)もリリースした。
  論文  参考訳（メタデータ） (2022-05-15T09:45:34Z)
• The Conceptual VAE [7.15767183672057]
  本稿では,変分オートエンコーダの枠組みに基づく新しい概念モデルを提案する。 このモデルは、概念のβ-VAEモデルにインスパイアされ、密接に関連しています。 モデルが概念分類器としてどのように使用できるか、そしてインスタンス毎に少ないラベルから学習するためにどのように適応できるかを示す。
  論文  参考訳（メタデータ） (2022-03-21T17:27:28Z)
• Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
  概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。 次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。 最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
  論文  参考訳（メタデータ） (2022-02-25T01:27:31Z)
• Towards Visual Semantics [17.1623244298824]
  私たちは、人間の視覚的知覚の精神表現、すなわち概念の構築方法を研究します。 本稿では,分類概念と呼ばれる概念に対応する物質概念を学習する理論とアルゴリズムを提案する。 予備的な実験は、アルゴリズムが正しい精度で属と分化の概念を取得することを証明している。
  論文  参考訳（メタデータ） (2021-04-26T07:28:02Z)
• Formalising Concepts as Grounded Abstractions [68.24080871981869]
  このレポートは、表現学習が生データから概念を誘導する方法を示しています。 このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
  論文  参考訳（メタデータ） (2021-01-13T15:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。