論文の概要: Extracting Conceptual Spaces from LLMs Using Prototype Embeddings

• arxiv url: http://arxiv.org/abs/2509.19269v1
• Date: Tue, 23 Sep 2025 17:33:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.979078
• Title: Extracting Conceptual Spaces from LLMs Using Prototype Embeddings
• Title（参考訳）: プロトタイプ埋め込みを用いたLCMの概念空間の抽出
• Authors: Nitesh Kumar, Usashi Chatterjee, Steven Schockaert,
• Abstract要約: 本稿では,対応するプロトタイプの記述を埋め込んで特徴を符号化する手法を提案する。 私たちの経験的分析では、このアプローチは極めて効果的であることが分かっています。
• 参考スコア（独自算出の注目度）: 18.46941911794649
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conceptual spaces represent entities and concepts using cognitively meaningful dimensions, typically referring to perceptual features. Such representations are widely used in cognitive science and have the potential to serve as a cornerstone for explainable AI. Unfortunately, they have proven notoriously difficult to learn, although recent LLMs appear to capture the required perceptual features to a remarkable extent. Nonetheless, practical methods for extracting the corresponding conceptual spaces are currently still lacking. While various methods exist for extracting embeddings from LLMs, extracting conceptual spaces also requires us to encode the underlying features. In this paper, we propose a strategy in which features (e.g. sweetness) are encoded by embedding the description of a corresponding prototype (e.g. a very sweet food). To improve this strategy, we fine-tune the LLM to align the prototype embeddings with the corresponding conceptual space dimensions. Our empirical analysis finds this approach to be highly effective.
• Abstract（参考訳）: 概念空間は認知的に意味のある次元を用いて実体や概念を表し、典型的には知覚的特徴を指す。 このような表現は認知科学で広く使われており、説明可能なAIの基礎として機能する可能性がある。 残念なことに、彼らは学習するのが非常に難しいと名高いが、近年のLSMは必要な知覚的特徴をある程度捉えているようだ。 それでも、対応する概念空間を抽出する実践的手法はいまだに不足している。 LLMから埋め込みを抽出するための様々な方法が存在するが、概念空間の抽出には基礎となる特徴を符号化する必要がある。 本稿では、対応するプロトタイプ(例えば、非常に甘い食品)の記述を埋め込んで特徴(eg甘味)を符号化する戦略を提案する。 この戦略を改善するため、LLMを微調整し、プロトタイプの埋め込みと対応する概念空間次元を整列させる。 私たちの経験的分析では、このアプローチは極めて効果的であることが分かっています。

関連論文リスト

• Attribute-formed Class-specific Concept Space: Endowing Language Bottleneck Model with Better Interpretability and Scalability [54.420663939897686]
  本稿では,解釈可能な画像認識を実現するために,Attribute-formed Language Bottleneck Model (ALBM)を提案する。 ALBMは属性形式クラス固有の空間において概念を整理する。 解釈性をさらに向上するため,細粒度属性の視覚的特徴を抽出するVAPL(Visual Attribute Prompt Learning)を提案する。
  論文  参考訳（メタデータ） (2025-03-26T07:59:04Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
  スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。 大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。 その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-01T15:46:22Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• Ranking Entities along Conceptual Space Dimensions with LLMs: An Analysis of Fine-Tuning Strategies [16.056028563680584]
  我々は特に、与えられた概念空間次元に応じてエンティティをランク付けするタスクに焦点をあてる。 得られたモデルのランク付け能力が知覚的・主観的特徴に移行するかどうかを解析する。
  論文  参考訳（メタデータ） (2024-02-23T14:17:01Z)
• Expectation-Maximization Contrastive Learning for Compact Video-and-Language Representations [54.62547989034184]
  我々は,コンパクトなビデオ・言語表現を学習するために,予測最大化コントラスト学習(EMCL)を提案する。 具体的には、期待最大化アルゴリズムを用いて、潜在空間のコンパクトな基底集合を求める。 3つのベンチマークテキスト・ビデオ検索データセットの実験により、EMCLはより識別力のあるビデオ・言語表現を学習できることが証明された。
  論文  参考訳（メタデータ） (2022-11-21T13:12:44Z)
• Interpreting Embedding Spaces by Conceptualization [2.620130580437745]
  本稿では,埋め込み空間を理解可能な概念空間に変換することによって,埋め込みを理解する新しい方法を提案する。 本研究では,人間のレーダやLDMをベースとしたレーダを用いた新しい評価手法を考案し,ベクトルが本来の潜伏状態のセマンティクスを実際に表現していることを示す。
  論文  参考訳（メタデータ） (2022-08-22T15:32:17Z)
• Discovering Concepts in Learned Representations using Statistical Inference and Interactive Visualization [0.76146285961466]
  概念発見は、深層学習の専門家とモデルエンドユーザーの間のギャップを埋めるために重要である。 現在のアプローチには、手作りの概念データセットと、それを潜在空間方向に変換することが含まれる。 本研究では,複数の仮説テストに基づく意味ある概念のユーザ発見と,インタラクティブな可視化に関する2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-09T22:29:48Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。