論文の概要: From the New World of Word Embeddings: A Comparative Study of Small-World Lexico-Semantic Networks in LLMs

• arxiv url: http://arxiv.org/abs/2502.11380v2
• Date: Mon, 19 May 2025 17:17:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.462692
• Title: From the New World of Word Embeddings: A Comparative Study of Small-World Lexico-Semantic Networks in LLMs
• Title（参考訳）: 単語埋め込みの新世界から:LLMにおける小世界レキシコセマンティックネットワークの比較研究
• Authors: Zhu Liu, Ying Liu, KangYang Luo, Cunliang Kong, Maosong Sun,
• Abstract要約: 語彙意味ネットワークは単語をノードとして表現し、意味的関連性はエッジとして表現する。 我々はデコーダのみの大規模言語モデルの入力埋め込みからレキシコ・セマンティックネットワークを構築する。 以上の結果から,これらのネットワークは,クラスタリングと短経路長が特徴である小世界特性を示すことがわかった。
• 参考スコア（独自算出の注目度）: 47.52062992606549
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Lexico-semantic networks represent words as nodes and their semantic relatedness as edges. While such networks are traditionally constructed using embeddings from encoder-based models or static vectors, embeddings from decoder-only large language models (LLMs) remain underexplored. Unlike encoder models, LLMs are trained with a next-token prediction objective, which does not directly encode the meaning of the current token. In this paper, we construct lexico-semantic networks from the input embeddings of LLMs with varying parameter scales and conduct a comparative analysis of their global and local structures. Our results show that these networks exhibit small-world properties, characterized by high clustering and short path lengths. Moreover, larger LLMs yield more intricate networks with less small-world effects and longer paths, reflecting richer semantic structures and relations. We further validate our approach through analyses of common conceptual pairs, structured lexical relations derived from WordNet, and a cross-lingual semantic network for qualitative words.
• Abstract（参考訳）: 語彙意味ネットワークは単語をノードとして表現し、意味的関連性はエッジとして表現する。 このようなネットワークは、エンコーダベースのモデルや静的ベクトルからの埋め込みを用いて伝統的に構築されているが、デコーダのみの大規模言語モデル(LLM)からの埋め込みは未定である。 エンコーダモデルとは異なり、LLMは現在のトークンの意味を直接エンコードしない次世代の予測目標で訓練される。 本稿では,LLMの入力埋め込みからパラメータスケールの異なるレキシコ・セマンティックネットワークを構築し,その大域的および局所的な構造の比較分析を行う。 以上の結果から,これらのネットワークは,クラスタリングと短経路長が特徴である小世界特性を示すことがわかった。 さらに、より大きなLLMはより複雑なネットワークをもたらし、より小さな世界効果が少なく、より長い経路を持ち、よりリッチなセマンティック構造と関係を反映している。 我々はさらに、共通概念対の分析、WordNetから派生した構造的語彙関係、質的な単語に対する言語間セマンティックネットワークを通じて、我々のアプローチを検証する。

関連論文リスト

• Interpreting the Linear Structure of Vision-language Model Embedding Spaces [15.065914257384204]
  我々は、4つの視覚言語モデルの埋め込み空間上でスパースオートエンコーダ(SAE)を訓練・リリースする。 SAEは実際の埋め込みを再構築するのに優れており、また最もスパース性を維持することができる。 また、SAEによって抽出される鍵となる活性化概念は、実行中において著しく安定であることを示す。
  論文  参考訳（メタデータ） (2025-04-16T01:40:06Z)
• A Top-down Graph-based Tool for Modeling Classical Semantic Maps: A Crosslinguistic Case Study of Supplementary Adverbs [50.982315553104975]
  セマンティックマップモデル(SMM)は、言語横断的なインスタンスや形式からネットワークのような概念空間を構築する。 ほとんどのSMMは、ボトムアップ手順を使用して、人間の専門家によって手動で構築される。 本稿では,概念空間とSMMをトップダウンで自動生成するグラフベースの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-02T12:06:41Z)
• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• Enhancing Modern Supervised Word Sense Disambiguation Models by Semantic Lexical Resources [11.257738983764499]
  現在、Word Sense Disambiguation (WSD) の監視モデルは、最も人気のあるベンチマークで最先端の結果をもたらす。 我々は、WordNetとWordNet Domainsという2つの人気のあるSLRを利用する「モダンな」教師付きWSDモデルを強化する。 本研究では,単語埋め込みやリカレントニューラルネットワークの混合によって符号化された局所的文脈との相互作用について,異なるタイプの意味的特徴の影響について検討する。
  論文  参考訳（メタデータ） (2024-02-20T13:47:51Z)
• Autoencoder-Based Domain Learning for Semantic Communication with Conceptual Spaces [1.7404865362620803]
  本研究では,高レベルなプロパティラベルを持つ生データのみを用いて,概念空間モデルの領域を学習するためのフレームワークを開発する。 MNISTとCelebAデータセットを用いた実験では、フレームワークを用いて学習したドメインが意味的類似性関係を維持し、解釈可能な次元を持つことを示した。
  論文  参考訳（メタデータ） (2024-01-29T21:08:33Z)
• Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
  コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。 しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。 語彙定義意味論(vocabulary-defined semantics)を提案する。
  論文  参考訳（メタデータ） (2024-01-29T14:29:48Z)
• Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing [2.5002227227256864]
  本研究では,文レベル表現の研究手法である意味構造探索を用いた実験を行う。 本手法は,2つのタスクの文脈において,異なる言語モデル(エンコーダのみ,デコーダのみ,エンコーダのみ,エンコーダ-デコーダ)と異なる大きさの言語モデルに適用する。 モデルファミリは、その性能と層動力学において大きく異なるが、結果は大半がモデルサイズの不変量である。
  論文  参考訳（メタデータ） (2023-10-18T12:32:07Z)
• Imitation Learning-based Implicit Semantic-aware Communication Networks: Multi-layer Representation and Collaborative Reasoning [68.63380306259742]
  有望な可能性にもかかわらず、セマンティック通信とセマンティック・アウェア・ネットワーキングはまだ初期段階にある。 本稿では,CDCとエッジサーバの複数層を連携させる,推論に基づく暗黙的セマンティック・アウェア通信ネットワークアーキテクチャを提案する。 暗黙的セマンティクスの階層構造と個人ユーザのパーソナライズされた推論嗜好を考慮に入れたセマンティクス情報の多層表現を提案する。
  論文  参考訳（メタデータ） (2022-10-28T13:26:08Z)
• Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
  埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。 これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。 これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
  論文  参考訳（メタデータ） (2022-03-16T11:06:50Z)
• Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings [0.0]
  本研究は、5つの異なる静的単語埋め込みアーキテクチャの属性的単語関連を評価することを目的とする。 その結果, 組込み学習における文脈学習のフレーバーの選択は, 学習コーパスにおける単語の関連性や単語の組込み感に影響を及ぼすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-14T22:27:18Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。