論文の概要: From Tokens to Lattices: Emergent Lattice Structures in Language Models
- arxiv url: http://arxiv.org/abs/2504.08778v1
- Date: Fri, 04 Apr 2025 04:28:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-20 05:34:55.201053
- Title: From Tokens to Lattices: Emergent Lattice Structures in Language Models
- Title（参考訳）: tokensからLatticesへ:言語モデルにおける創発的な格子構造
- Authors: Bo Xiong, Steffen Staab,
- Abstract要約: 本稿では,事前学習された言語モデルから概念格子構築のための新しいフレームワークを提案する。
格子構造学習における文脈の帰納バイアスの起源について検討する。
我々のフレームワークは、人間が定義する概念に頼らず、人間の定義を超えて広がる「最新の」概念を発見できるため、以前の作業と異なります。
- 参考スコア（独自算出の注目度）: 28.386309583312023
- License:
- Abstract: Pretrained masked language models (MLMs) have demonstrated an impressive capability to comprehend and encode conceptual knowledge, revealing a lattice structure among concepts. This raises a critical question: how does this conceptualization emerge from MLM pretraining? In this paper, we explore this problem from the perspective of Formal Concept Analysis (FCA), a mathematical framework that derives concept lattices from the observations of object-attribute relationships. We show that the MLM's objective implicitly learns a \emph{formal context} that describes objects, attributes, and their dependencies, which enables the reconstruction of a concept lattice through FCA. We propose a novel framework for concept lattice construction from pretrained MLMs and investigate the origin of the inductive biases of MLMs in lattice structure learning. Our framework differs from previous work because it does not rely on human-defined concepts and allows for discovering "latent" concepts that extend beyond human definitions. We create three datasets for evaluation, and the empirical results verify our hypothesis.
- Abstract（参考訳）: 事前訓練されたマスク付き言語モデル(MLM)は、概念知識を理解し、エンコードする印象的な能力を示し、概念間の格子構造を明らかにしている。
この概念化はどのようにしてMLM事前学習から生まれるのか?
本稿では,対象-属性関係の観測から概念格子を導出する数学的枠組みであるFCA(Formal Concept Analysis)の観点から,この問題を考察する。
MLMの目的は、オブジェクト、属性、およびそれらの依存関係を記述する「emph{formal context}」を暗黙的に学習し、FCAによる概念格子の再構築を可能にすることを示す。
本研究では, 格子構造学習におけるMLMの帰納バイアスの起源を考察し, 事前学習による格子構造構築のための新しい枠組みを提案する。
我々のフレームワークは、人間が定義する概念に頼らず、人間の定義を超えて広がる「最新の」概念を発見できるため、以前の作業と異なります。
評価のために3つのデータセットを作成し、実験結果から仮説が検証される。
関連論文リスト
- A Concept-Based Explainability Framework for Large Multimodal Models [52.37626977572413]
本稿では,トークン表現に適用した辞書学習に基づくアプローチを提案する。
これらの概念は、視覚とテキストの両方に意味論的に根ざしていることを示す。
抽出したマルチモーダル概念は,テストサンプルの表現の解釈に有用であることを示す。
論文 参考訳（メタデータ） (2024-06-12T10:48:53Z) - Aligned at the Start: Conceptual Groupings in LLM Embeddings [10.282327560070202]
本稿では、しばしば見落とされがちな入力埋め込み(初期表現をトランスフォーマーブロックに入力する)に焦点を移す。
ファジィグラフ,k-nearest neighbor(k-NN),およびコミュニティ検出を用いて,多様なLDMの埋め込みを解析した。
論文 参考訳（メタデータ） (2024-06-08T01:27:19Z) - ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。
これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。
実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
論文 参考訳（メタデータ） (2024-01-11T05:05:01Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T20:41:18Z) - Text-to-Image Generation for Abstract Concepts [76.32278151607763]
抽象概念のためのテキスト・画像生成フレームワーク(TIAC)を提案する。
抽象概念は曖昧さを避けるための詳細な定義で明確な意図に明確化されている。
LLM抽出フォームパターンセットから概念依存型フォームを検索する。
論文 参考訳（メタデータ） (2023-09-26T02:22:39Z) - COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
概念的知識は人間の認知と知識基盤の基本である。
既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。
PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。
タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
論文 参考訳（メタデータ） (2022-11-08T08:18:06Z) - Formalising Concepts as Grounded Abstractions [68.24080871981869]
このレポートは、表現学習が生データから概念を誘導する方法を示しています。
このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
論文 参考訳（メタデータ） (2021-01-13T15:22:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。