論文の概要: DySem: Uncovering Dynamic Semantic Components via Multilingual Consensus for Calculating Semantic Textual Similarity

• arxiv url: http://arxiv.org/abs/2605.29751v1
• Date: Thu, 28 May 2026 10:47:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.188978
• Title: DySem: Uncovering Dynamic Semantic Components via Multilingual Consensus for Calculating Semantic Textual Similarity
• Title（参考訳）: DySem: 意味的テクスチャ類似性を計算するための多言語コンセンサスによる動的意味的コンポーネントの発見
• Authors: Kaijie Zheng, Weiqin Wang, Yile Wang, Hui Huang,
• Abstract要約: 意味的テキスト類似性を計算することは自然言語処理の基本課題である。 我々はDySemを提案する。DySemは、大規模言語モデルのより意味論的な内部コンポーネントを調査する、新しいトレーニング不要のフレームワークである。
• 参考スコア（独自算出の注目度）: 12.354777054071379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Calculating semantic textual similarity is a foundational task in natural language processing. Current large language models (LLMs) based methods typically rely on extracting last-layer hidden states with fixed dimensions to compute similarity for every text pairs. We argue that this paradigm is suffer from two limitations: (i) The last hidden layer encodes more general knowledge rather than just semantic knowledge, making it suboptimal for semantic similarity computation; (ii) The hidden layer dimensions of LLMs are generally very large, which introduces some redundancy and noise for representing semantics. In this work, we propose DySem, a novel training-free framework that investigates more semantic-related internal components of LLMs via multilingual consensus, and shifts away from static representation spaces in favor of dynamic, sample-specific semantic dimensions by constructing text-dependent joint semantic set and computes similarity over this shared dimensional subset. Extensive experiments across various LLMs show that our method consistently outperforms recent baselines while maintaining lower dimensions for similarity calculation. The code is released at https://github.com/szu-tera/DySem.
• Abstract（参考訳）: 意味的テキスト類似性を計算することは自然言語処理の基本課題である。 現在の大規模言語モデル(LLM)ベースの手法は、通常、すべてのテキストペアの類似性を計算するために、固定次元を持つ最終層隠れ状態の抽出に依存する。 このパラダイムには2つの制限があります。 (i)最後の隠蔽層は、単に意味知識ではなく、より一般的な知識を符号化し、意味的類似性計算に最適である。 (ii) LLMの隠蔽層次元は概して非常に大きく, 意味論を表現するための冗長性とノイズが生じる。 本研究では,多言語コンセンサスを用いてLLMのより意味論的な内部成分を探索し,テキスト依存的な共同意味集合を構築し,この共有次元部分集合に対して類似性を計算することによって,動的でサンプル固有の意味次元を優先して静的表現空間から逸脱する,新たな学習自由フレームワークDySemを提案する。 本手法は, 類似性計算のための低次元を保ちながら, 最新のベースラインを一貫して上回ることを示す。 コードはhttps://github.com/szu-tera/DySem.comで公開されている。

関連論文リスト

• Semantic-KG: Using Knowledge Graphs to Construct Benchmarks for Measuring Semantic Similarity [42.873412319680035]
  本稿では,大規模言語モデルの出力に対する意味的類似性を評価するために,ベンチマークを生成する新しい手法を提案する。 我々は4つの異なる領域(一般知識、バイオメディシン、ファイナンス、生物学)でベンチマークデータセットを生成する。 セマンティックな変化のサブタイプとベンチマークの領域がセマンティックな類似性手法の性能に与える影響を観察する。
  論文  参考訳（メタデータ） (2025-11-25T05:07:08Z)
• QUDsim: Quantifying Discourse Similarities in LLM-Generated Text [70.22275200293964]
  本稿では,会話の進行過程の違いの定量化を支援するために,言語理論に基づくQUDと質問意味論を紹介する。 このフレームワークを使って$textbfQUDsim$を作ります。 QUDsimを用いて、コンテンツが異なる場合であっても、LLMはサンプル間で(人間よりも)談話構造を再利用することが多い。
  論文  参考訳（メタデータ） (2025-04-12T23:46:09Z)
• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• SemGrasp: Semantic Grasp Generation via Language Aligned Discretization [53.43801984965309]
  本稿では,SemGraspと呼ばれるセマンティックなグリップ生成手法を提案する。 そこで本研究では,握り空間を意味空間に整合させる離散表現を導入し,握り姿勢の生成を可能にする。 その後、MLLM(Multimodal Large Language Model)が微調整され、オブジェクト、把握、言語を統一意味空間内で統合する。
  論文  参考訳（メタデータ） (2024-04-04T16:58:26Z)
• Breaking Down Word Semantics from Pre-trained Language Models through Layer-wise Dimension Selection [0.0]
  本稿では,レイヤ間の中間出力にバイナリマスクを適用することにより,BERTから意味感覚を分離することを目的とする。 2つの異なる文の目的語が同じ意味を持つかどうかを判定するために、二分分類により、アンタングル埋め込みを評価する。
  論文  参考訳（メタデータ） (2023-10-08T11:07:19Z)
• Multi-Semantic Interactive Learning for Object Detection [11.392255321898324]
  本稿では,異なる分野間の意味的関連性を検討するために,マルチセマンティック・インタラクティブ・ラーニング(MSIL)を提案する。 MSILはプラグイン・アンド・プレイコンポーネントとして既存のオブジェクト検出ネットに統合できる。
  論文  参考訳（メタデータ） (2023-03-18T13:14:15Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。