論文の概要: The Geometry of Categorical and Hierarchical Concepts in Large Language Models

• arxiv url: http://arxiv.org/abs/2406.01506v2
• Date: Wed, 09 Oct 2024 03:39:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:30:51.054754
• Title: The Geometry of Categorical and Hierarchical Concepts in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける分類的・階層的概念の幾何学
• Authors: Kiho Park, Yo Joong Choe, Yibo Jiang, Victor Veitch,
• Abstract要約: 線形表現仮説の形式化をベクトルとして(例:is_animal)特徴を表現するために拡張する方法を示す。 形式化を用いて、概念の階層構造とそれらの表現の幾何学との関係を証明する。 我々はこれらの理論結果をGemmaとLLaMA-3大言語モデルで検証し、WordNetのデータを用いて900以上の階層的な概念の表現を推定する。
• 参考スコア（独自算出の注目度）: 15.126806053878855
• License:
• Abstract: The linear representation hypothesis is the informal idea that semantic concepts are encoded as linear directions in the representation spaces of large language models (LLMs). Previous work has shown how to make this notion precise for representing binary concepts that have natural contrasts (e.g., {male, female}) as directions in representation space. However, many natural concepts do not have natural contrasts (e.g., whether the output is about an animal). In this work, we show how to extend the formalization of the linear representation hypothesis to represent features (e.g., is_animal) as vectors. This allows us to immediately formalize the representation of categorical concepts as polytopes in the representation space. Further, we use the formalization to prove a relationship between the hierarchical structure of concepts and the geometry of their representations. We validate these theoretical results on the Gemma and LLaMA-3 large language models, estimating representations for 900+ hierarchically related concepts using data from WordNet.
• Abstract（参考訳）: 線形表現仮説は、大言語モデル(LLM)の表現空間において、意味論的概念が線形方向として符号化されるという非公式な考えである。 従来の研究は、この概念を表現空間の方向として自然なコントラスト(例えば {male, female})を持つ二項概念を正確に表現する方法を示してきた。 しかし、多くの自然概念は自然のコントラストを持たない(例えば、アウトプットが動物に関するものであるかどうか)。 本研究では,線型表現仮説の形式化を拡張して特徴(例えば,is_animal)をベクトルとして表現する方法を示す。 これにより、表現空間における圏概念の表現をポリトープとしてすぐに形式化できる。 さらに、この形式化を用いて、概念の階層構造とそれらの表現の幾何学との関係を証明する。 我々はこれらの理論結果をGemmaとLLaMA-3大言語モデルで検証し、WordNetのデータを用いて900以上の階層的な概念の表現を推定する。

関連論文リスト

• A Complexity-Based Theory of Compositionality [53.025566128892066]
  AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。 ここでは、構成性に関する直観を考慮し、拡張する構成性の公式な定義を提案する。 この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。
  論文  参考訳（メタデータ） (2024-10-18T18:37:27Z)
• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• An Axiomatic Approach to Model-Agnostic Concept Explanations [67.84000759813435]
  本稿では、線形性、再帰性、類似性という3つの自然な公理を満たす概念的説明へのアプローチを提案する。 次に、従来の概念的説明手法とのつながりを確立し、それらの意味の異なる意味についての洞察を提供する。
  論文  参考訳（メタデータ） (2024-01-12T20:53:35Z)
• The Linear Representation Hypothesis and the Geometry of Large Language Models [12.387530469788738]
  インフォーマルに、「線形表現仮説」とは、高次概念がある表現空間の方向として線型に表現されるという考え方である。 線形表現(linear representation)とは何か? 対実対を用いて線形表現のすべての概念を統一する方法を示す。
  論文  参考訳（メタデータ） (2023-11-07T01:59:11Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• Concept Algebra for (Score-Based) Text-Controlled Generative Models [27.725860408234478]
  本稿では,テキスト誘導生成モデルにおける学習表現の構造について述べる。 そのようなモデルの鍵となる性質は、異なる概念を非絡み合いの方法で構成できることである。 ここでは、ある表現空間の部分空間として概念が符号化されるという考えに焦点を当てる。
  論文  参考訳（メタデータ） (2023-02-07T20:43:48Z)
• Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
  概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。 我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。 我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
  論文  参考訳（メタデータ） (2022-08-31T17:06:46Z)
• Analyzing Encoded Concepts in Transformer Language Models [21.76062029833023]
  ConceptXは、事前訓練された言語モデル内で学習された表現において、潜伏概念がどのように符号化されるかを分析する。 クラスタリングを使用して、符号化された概念を発見し、人間の定義した概念の大規模なセットと整合してそれらを説明する。
  論文  参考訳（メタデータ） (2022-06-27T13:32:10Z)
• Formalising Concepts as Grounded Abstractions [68.24080871981869]
  このレポートは、表現学習が生データから概念を誘導する方法を示しています。 このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
  論文  参考訳（メタデータ） (2021-01-13T15:22:01Z)
• Space of Reasons and Mathematical Model [8.475081627511166]
  推論関係は私たちの概念の使用を支配します。 概念を理解するためには、意味のある空間に配置する必要がある。 重要な質問は: 言語の使用条件はどのように表現できるのか。
  論文  参考訳（メタデータ） (2020-07-06T01:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。