論文の概要: Exploring the Small World of Word Embeddings: A Comparative Study on Conceptual Spaces from LLMs of Different Scales

• arxiv url: http://arxiv.org/abs/2502.11380v1
• Date: Mon, 17 Feb 2025 02:52:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:42.600768
• Title: Exploring the Small World of Word Embeddings: A Comparative Study on Conceptual Spaces from LLMs of Different Scales
• Title（参考訳）: 単語埋め込みの小さな世界を探る:異なるスケールのLLMにおける概念空間の比較研究
• Authors: Zhu Liu, Ying Liu, KangYang Luo, Cunliang Kong, Maosong Sun,
• Abstract要約: 概念空間は概念をノードとして、意味的関連性はエッジとして表現する。 様々なスケールの大規模言語モデルから単語埋め込みを用いて概念空間を構築する。 我々は,概念的ペア,WordNet関係,質的な単語に対する言語間セマンティックネットワークを解析する。
• 参考スコア（独自算出の注目度）: 47.52062992606549
• License:
• Abstract: A conceptual space represents concepts as nodes and semantic relatedness as edges. Word embeddings, combined with a similarity metric, provide an effective approach to constructing such a space. Typically, embeddings are derived from traditional distributed models or encoder-only pretrained models, whose objectives directly capture the meaning of the current token. In contrast, decoder-only models, including large language models (LLMs), predict the next token, making their embeddings less directly tied to the current token's semantics. Moreover, comparative studies on LLMs of different scales remain underexplored. In this paper, we construct a conceptual space using word embeddings from LLMs of varying scales and comparatively analyze their properties. We establish a network based on a linguistic typology-inspired connectivity hypothesis, examine global statistical properties, and compare LLMs of varying scales. Locally, we analyze conceptual pairs, WordNet relations, and a cross-lingual semantic network for qualitative words. Our results indicate that the constructed space exhibits small-world properties, characterized by a high clustering coefficient and short path lengths. Larger LLMs generate more intricate spaces, with longer paths reflecting richer relational structures and connections. Furthermore, the network serves as an efficient bridge for cross-lingual semantic mapping.
• Abstract（参考訳）: 概念空間は概念をノードとして、意味的関連性はエッジとして表現する。 単語埋め込みと類似度メートル法を組み合わせることで、そのような空間を構築するための効果的なアプローチを提供する。 通常、埋め込みは従来の分散モデルやエンコーダのみの事前訓練モデルから派生しており、その目的は現在のトークンの意味を直接捉えることである。 対照的に、大きな言語モデル(LLM)を含むデコーダのみのモデルは、次のトークンを予測し、その埋め込みを現在のトークンのセマンティクスに直接関連しないようにする。 さらに、異なるスケールのLLMの比較研究はいまだに未調査である。 本稿では,様々なスケールのLLMから単語埋め込みを用いて概念空間を構築し,その特性を相対的に解析する。 我々は,言語型学にヒントを得た接続仮説に基づくネットワークを構築し,グローバルな統計特性を検証し,様々なスケールのLLMを比較した。 局所的に、概念ペア、WordNet関係、および定性語のための言語間セマンティックネットワークを解析する。 以上の結果から, 構成空間はクラスタリング係数が高く, 経路長が短いのが特徴である。 より大きなLLMはより複雑な空間を生成し、より長い経路はよりリッチなリレーショナル構造と接続を反映する。 さらに、このネットワークは、言語間セマンティックマッピングのための効率的なブリッジとして機能する。

関連論文リスト

• Improving vision-language alignment with graph spiking hybrid Networks [6.707524980629404]
  本稿では,細粒度のセマンティックな特徴を生成するために,パノプティックセマンティック・セマンティック・セマンティクスの活用を必要とする包括的ビジュアルセマンティクス表現モジュールを提案する。 視覚的セマンティック情報を符号化するために,SNNとGATの相補的な利点を統合したグラフスパイキングハイブリッドネットワーク(GSHN)を提案する。
  論文  参考訳（メタデータ） (2025-01-31T11:55:17Z)
• A Top-down Graph-based Tool for Modeling Classical Semantic Maps: A Crosslinguistic Case Study of Supplementary Adverbs [50.982315553104975]
  セマンティックマップモデル(SMM)は、言語横断的なインスタンスや形式からネットワークのような概念空間を構築する。 ほとんどのSMMは、ボトムアップ手順を使用して、人間の専門家によって手動で構築される。 本稿では,概念空間とSMMをトップダウンで自動生成するグラフベースの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-02T12:06:41Z)
• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• Enhancing Modern Supervised Word Sense Disambiguation Models by Semantic Lexical Resources [11.257738983764499]
  現在、Word Sense Disambiguation (WSD) の監視モデルは、最も人気のあるベンチマークで最先端の結果をもたらす。 我々は、WordNetとWordNet Domainsという2つの人気のあるSLRを利用する「モダンな」教師付きWSDモデルを強化する。 本研究では,単語埋め込みやリカレントニューラルネットワークの混合によって符号化された局所的文脈との相互作用について,異なるタイプの意味的特徴の影響について検討する。
  論文  参考訳（メタデータ） (2024-02-20T13:47:51Z)
• Autoencoder-Based Domain Learning for Semantic Communication with Conceptual Spaces [1.7404865362620803]
  本研究では,高レベルなプロパティラベルを持つ生データのみを用いて,概念空間モデルの領域を学習するためのフレームワークを開発する。 MNISTとCelebAデータセットを用いた実験では、フレームワークを用いて学習したドメインが意味的類似性関係を維持し、解釈可能な次元を持つことを示した。
  論文  参考訳（メタデータ） (2024-01-29T21:08:33Z)
• Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing [2.5002227227256864]
  本研究では,文レベル表現の研究手法である意味構造探索を用いた実験を行う。 本手法は,2つのタスクの文脈において,異なる言語モデル(エンコーダのみ,デコーダのみ,エンコーダのみ,エンコーダ-デコーダ)と異なる大きさの言語モデルに適用する。 モデルファミリは、その性能と層動力学において大きく異なるが、結果は大半がモデルサイズの不変量である。
  論文  参考訳（メタデータ） (2023-10-18T12:32:07Z)
• Imitation Learning-based Implicit Semantic-aware Communication Networks: Multi-layer Representation and Collaborative Reasoning [68.63380306259742]
  有望な可能性にもかかわらず、セマンティック通信とセマンティック・アウェア・ネットワーキングはまだ初期段階にある。 本稿では,CDCとエッジサーバの複数層を連携させる,推論に基づく暗黙的セマンティック・アウェア通信ネットワークアーキテクチャを提案する。 暗黙的セマンティクスの階層構造と個人ユーザのパーソナライズされた推論嗜好を考慮に入れたセマンティクス情報の多層表現を提案する。
  論文  参考訳（メタデータ） (2022-10-28T13:26:08Z)
• Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
  埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。 これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。 これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
  論文  参考訳（メタデータ） (2022-03-16T11:06:50Z)
• Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings [0.0]
  本研究は、5つの異なる静的単語埋め込みアーキテクチャの属性的単語関連を評価することを目的とする。 その結果, 組込み学習における文脈学習のフレーバーの選択は, 学習コーパスにおける単語の関連性や単語の組込み感に影響を及ぼすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-14T22:27:18Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。