論文の概要: The Geometry of Categorical and Hierarchical Concepts in Large Language Models

• arxiv url: http://arxiv.org/abs/2406.01506v1
• Date: Mon, 3 Jun 2024 16:34:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 22:00:59.812412
• Title: The Geometry of Categorical and Hierarchical Concepts in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける分類的・階層的概念の幾何学
• Authors: Kiho Park, Yo Joong Choe, Yibo Jiang, Victor Veitch,
• Abstract要約: この分野の2つの基礎的問題について研究する。 哺乳類」や「鳥」、「レプティル」、「魚」といった分類概念はどのように表現されるのか。 例えば、"dog"が"mammal"エンコードされているという事実は、どのようなものなのでしょう?
• 参考スコア（独自算出の注目度）: 15.126806053878855
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Understanding how semantic meaning is encoded in the representation spaces of large language models is a fundamental problem in interpretability. In this paper, we study the two foundational questions in this area. First, how are categorical concepts, such as {'mammal', 'bird', 'reptile', 'fish'}, represented? Second, how are hierarchical relations between concepts encoded? For example, how is the fact that 'dog' is a kind of 'mammal' encoded? We show how to extend the linear representation hypothesis to answer these questions. We find a remarkably simple structure: simple categorical concepts are represented as simplices, hierarchically related concepts are orthogonal in a sense we make precise, and (in consequence) complex concepts are represented as polytopes constructed from direct sums of simplices, reflecting the hierarchical structure. We validate these theoretical results on the Gemma large language model, estimating representations for 957 hierarchically related concepts using data from WordNet.
• Abstract（参考訳）: 大言語モデルの表現空間において意味の意味がどのようにコード化されているかを理解することは、解釈可能性の根本的な問題である。 本稿では,本分野における2つの基礎的課題について考察する。 まず、 {'mammal'、'bird'、'reptile'、'fish'} のような分類学的概念はどのように表現されるのか? 第二に、概念間の階層的関係はどのように符号化されるのか? 例えば、"dog"が"mammal"エンコードされた一種の"mammal"であるという事実はどうでしょう? これらの疑問に答えるために線形表現仮説を拡張する方法を示す。 単純な分類的概念はsimpliceとして表現され、階層的関連概念は直交的であり、(結果として)複素概念はsimpliceの直和から構築されたポリトープとして表現され、階層的構造を反映する。 我々は、これらの理論結果をGemmaの大規模言語モデルで検証し、WordNetのデータを用いて、957の階層的な概念の表現を推定する。

関連論文リスト

• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• The Linear Representation Hypothesis and the Geometry of Large Language Models [12.387530469788738]
  インフォーマルに、「線形表現仮説」とは、高次概念がある表現空間の方向として線型に表現されるという考え方である。 線形表現(linear representation)とは何か? 対実対を用いて線形表現のすべての概念を統一する方法を示す。
  論文  参考訳（メタデータ） (2023-11-07T01:59:11Z)
• Concept2Box: Joint Geometric Embeddings for Learning Two-View Knowledge Graphs [77.10299848546717]
  Concept2Boxは、KGの2つのビューを共同で埋め込む新しいアプローチである。 ボックス埋め込みは、それら間の重複や解離のような階層構造と複雑な関係を学習する。 本稿では,新しいベクトル-ボックス間距離測定法を提案し,両者の埋め込みを共同で学習する。
  論文  参考訳（メタデータ） (2023-07-04T21:37:39Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Succinct Representations for Concepts [12.134564449202708]
  chatGPTのようなファンデーションモデルは、様々なタスクで顕著なパフォーマンスを示している。 しかし、多くの疑問に対して、彼らは正確なように見える誤った答えを生み出すかもしれない。 本稿では,圏論に基づく概念の簡潔な表現について述べる。
  論文  参考訳（メタデータ） (2023-03-01T12:11:23Z)
• Concept Algebra for (Score-Based) Text-Controlled Generative Models [27.725860408234478]
  本稿では,テキスト誘導生成モデルにおける学習表現の構造について述べる。 そのようなモデルの鍵となる性質は、異なる概念を非絡み合いの方法で構成できることである。 ここでは、ある表現空間の部分空間として概念が符号化されるという考えに焦点を当てる。
  論文  参考訳（メタデータ） (2023-02-07T20:43:48Z)
• On the Complexity of Bayesian Generalization [141.21610899086392]
  我々は、多様かつ自然な視覚スペクトルにおいて、概念一般化を大規模に考える。 問題空間が大きくなると、2つのモードが研究され、$complexity$が多様になる。
  論文  参考訳（メタデータ） (2022-11-20T17:21:37Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)
• Towards Visual Semantics [17.1623244298824]
  私たちは、人間の視覚的知覚の精神表現、すなわち概念の構築方法を研究します。 本稿では,分類概念と呼ばれる概念に対応する物質概念を学習する理論とアルゴリズムを提案する。 予備的な実験は、アルゴリズムが正しい精度で属と分化の概念を取得することを証明している。
  論文  参考訳（メタデータ） (2021-04-26T07:28:02Z)
• The ERA of FOLE: Foundation [0.0]
  本稿では,一階論理環境 tt Family FOLE の表現と解釈の議論を継続する。 多くの)一階述語論理の形式論と意味論は、Emphclassification形式とEmphinterpretation形式の両方で発展させることができる。 一般に、tt Family FOLE表現は概念的アプローチを使用し、制度の理論、形式的概念分析、情報フローと完全に互換性がある。
  論文  参考訳（メタデータ） (2015-12-23T11:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。