論文の概要: How Small Transformation Expose the Weakness of Semantic Similarity Measures

• arxiv url: http://arxiv.org/abs/2509.09714v1
• Date: Mon, 08 Sep 2025 11:00:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:07.840725
• Title: How Small Transformation Expose the Weakness of Semantic Similarity Measures
• Title（参考訳）: 意味的類似度尺度の弱さがいかに小さいか
• Authors: Serge Lionel Nikiema, Albérick Euraste Djire, Abdoul Aziz Bonkoungou, Micheline Bénédicte Moumoula, Jordan Samhi, Abdoul Kader Kabore, Jacques Klein, Tegawendé F. Bissyande,
• Abstract要約: 研究は18種類の類似度測定手法を試験した。 埋め込みに基づくいくつかの手法では、意味的反対を99.9%まで誤認している。 ある変圧器に基づくアプローチは、時として反対の意味を同義語よりも類似していると評価することがある。
• 参考スコア（独自算出の注目度）: 9.554744625391512
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This research examines how well different methods measure semantic similarity, which is important for various software engineering applications such as code search, API recommendations, automated code reviews, and refactoring tools. While large language models are increasingly used for these similarity assessments, questions remain about whether they truly understand semantic relationships or merely recognize surface patterns. The study tested 18 different similarity measurement approaches, including word-based methods, embedding techniques, LLM-based systems, and structure-aware algorithms. The researchers created a systematic testing framework that applies controlled changes to text and code to evaluate how well each method handles different types of semantic relationships. The results revealed significant issues with commonly used metrics. Some embedding-based methods incorrectly identified semantic opposites as similar up to 99.9 percent of the time, while certain transformer-based approaches occasionally rated opposite meanings as more similar than synonymous ones. The study found that embedding methods' poor performance often stemmed from how they calculate distances; switching from Euclidean distance to cosine similarity improved results by 24 to 66 percent. LLM-based approaches performed better at distinguishing semantic differences, producing low similarity scores (0.00 to 0.29) for genuinely different meanings, compared to embedding methods that incorrectly assigned high scores (0.82 to 0.99) to dissimilar content.
• Abstract（参考訳）: 本研究は,コード検索,APIレコメンデーション,自動コードレビュー,リファクタリングツールなど,さまざまなソフトウェア工学アプリケーションにおいて重要な意味的類似度を測定する手法について検討する。 大きな言語モデルはこれらの類似性評価にますます使われているが、意味的関係を真に理解しているか、単に表面パターンを認識するだけなのかについては疑問が残る。 この研究では、単語ベースの手法、埋め込み技術、LLMベースのシステム、構造認識アルゴリズムを含む18種類の類似度測定手法を試験した。 研究者たちは、テキストとコードに制御された変更を適用して、各メソッドが異なるタイプの意味的関係をいかにうまく扱うかを評価する、体系的なテストフレームワークを開発した。 その結果、一般的に使用されるメトリクスに重大な問題があることが判明した。 いくつかの埋め込みベースの手法では、意味の反対を99.9%まで正確に識別するが、ある変換器ベースの手法では、その反対の意味を同義語よりもよく似ていると評価することがある。 ユークリッド距離からコサイン類似度に切り替えると、結果が24～66%向上した。 LLMをベースとした手法は意味の相違を識別し、相似性スコア(0.00から0.29)を真に異なる意味で生成する。

関連論文リスト

• Automatic Design of Semantic Similarity Ensembles Using Grammatical Evolution [0.0]
  本稿では,意味的類似性アンサンブルを構築するための文法的進化に基づく自動戦略を提案する。 標準ベンチマークデータセットの実験では、提案手法が既存のアンサンブル手法よりも精度が高いことが示されている。
  論文  参考訳（メタデータ） (2023-07-03T10:53:05Z)
• Towards Interpretable Deep Metric Learning with Structural Matching [86.16700459215383]
  より透過的な埋め込み学習のための深層解釈可能なメトリック学習(DIML)法を提案する。 本手法は,既製のバックボーンネットワークやメトリック学習手法に適用可能な,モデルに依存しない手法である。 我々は,CUB200-2011,Cars196,Stanford Online Productsの3つの大規模メトリクス学習ベンチマークで評価を行った。
  論文  参考訳（メタデータ） (2021-08-12T17:59:09Z)
• A novel hybrid methodology of measuring sentence similarity [0.0]
  文間の類似性を正確に測定する必要がある。 ディープラーニング手法は、多くの自然言語処理分野における最先端のパフォーマンスを示す。 文の構造や文を構成する単語構造を考えることも重要である。
  論文  参考訳（メタデータ） (2021-05-03T06:50:54Z)
• A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
  信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。 多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
  論文  参考訳（メタデータ） (2021-03-31T18:28:14Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Towards Improved and Interpretable Deep Metric Learning via Attentive Grouping [103.71992720794421]
  グループ化は、様々な特徴の計算にディープ・メトリック・ラーニングでよく用いられてきた。 本稿では,任意のメトリクス学習フレームワークと柔軟に統合可能な,改良された解釈可能なグループ化手法を提案する。
  論文  参考訳（メタデータ） (2020-11-17T19:08:24Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Provably Robust Metric Learning [98.50580215125142]
  既存のメトリクス学習アルゴリズムは、ユークリッド距離よりもロバストなメトリクスをもたらすことを示す。 対向摂動に対して頑健なマハラノビス距離を求めるための新しい距離学習アルゴリズムを提案する。 実験結果から,提案アルゴリズムは証明済みの堅牢な誤りと経験的堅牢な誤りの両方を改善した。
  論文  参考訳（メタデータ） (2020-06-12T09:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。