論文の概要: Semantic Shift: the Fundamental Challenge in Text Embedding and Retrieval

• arxiv url: http://arxiv.org/abs/2603.21437v1
• Date: Sun, 22 Mar 2026 22:58:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.420334
• Title: Semantic Shift: the Fundamental Challenge in Text Embedding and Retrieval
• Title（参考訳）: セマンティックシフト: テキスト埋め込みと検索の基本的な課題
• Authors: Hang Gao, Dimitris N. Metaxas,
• Abstract要約: トランスフォーマーベースの埋め込みモデルは、可変長のテキストを単一のベクトルにマッピングするプーリングに依存している。 因果関係の欠如は、本質的な、構造的な進化と、テキスト内の意味論の分散である。
• 参考スコア（独自算出の注目度）: 39.73839943827917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based embedding models rely on pooling to map variable-length text into a single vector, enabling efficient similarity search but also inducing well-known geometric pathologies such as anisotropy and length-induced embedding collapse. Existing accounts largely describe \emph{what} these pathologies look like, yet provide limited insight into \emph{when} and \emph{why} they harm downstream retrieval. In this work, we argue that the missing causal factor is \emph{semantic shift}: the intrinsic, structured evolution and dispersion of semantics within a text. We first present a theoretical analysis of \emph{semantic smoothing} in Transformer embeddings: as the semantic diversity among constituent sentences increases, the pooled representation necessarily shifts away from every individual sentence embedding, yielding a smoothed and less discriminative vector. Building on this foundation, we formalize semantic shift as a computable measure integrating local semantic evolution and global semantic dispersion. Through controlled experiments across corpora and multiple embedding models, we show that semantic shift aligns closely with the severity of embedding concentration and predicts retrieval degradation, whereas text length alone does not. Overall, semantic shift offers a unified and actionable lens for understanding embedding collapse and for diagnosing when anisotropy becomes harmful.
• Abstract（参考訳）: トランスフォーマーベースの埋め込みモデルは、可変長のテキストを単一のベクトルにマッピングするプーリングに依存しており、効率的な類似性探索を可能にするだけでなく、異方性や長さによる埋め込み崩壊のようなよく知られた幾何学的病理も引き起こす。 既存の説明では、これらの病理は基本的には「emph{what}」と記述されているが、これらは下流の検索を害する「emph{when}」と「emph{why}」についての限られた洞察を与えている。 本研究では,本研究における因果関係の欠如は,本質的,構造的進化,意味論の分散である「emph{semantic shift}」であると論じる。 まず,トランスフォーマーの埋め込みにおける「emph{semantic smoothing}」の理論的解析について述べる: 構成文間の意味的多様性が増大するにつれて,プール表現は各文の埋め込みから必然的に切り離され,滑らかで識別の少ないベクトルが生成される。 この基盤を基盤として,局所的な意味進化とグローバルな意味分散を統合した計算可能な尺度として意味シフトを定式化する。 コーパスおよび複数埋め込みモデルを用いた制御実験により, セマンティックシフトは埋め込み濃度の重大度と密接に一致し, 検索精度の低下を予測できるが, テキスト長だけでは一致しないことを示す。 全体として、セマンティックシフトは、埋め込み崩壊を理解し、異方性が有害になったときに診断するための統一的で実行可能なレンズを提供する。

関連論文リスト

• Asymptotic Semantic Collapse in Hierarchical Optimization [0.5729426778193398]
  マルチエージェント言語システムは、共有された支配的コンテキストが個々の意味論を徐々に吸収する障害モードを示すことができる。 階層最適化における漸近的セマンティック崩壊(Asymptotic Semantic Collapse in Hierarchical Optimization)という名でこの効果を研究する。 我々は、周辺エージェントノードとの繰り返しの相互作用が、グローバルな損失を最小限に抑えるアライメントを駆動していることを示す。
  論文  参考訳（メタデータ） (2026-02-01T00:02:01Z)
• One Swallow Does Not Make a Summer: Understanding Semantic Structures in Embedding Spaces [17.173074024116477]
  埋め込み空間は現代のAIの基本であり、生データをリッチなセマンティックな関係を符号化する高次元ベクトルに変換する。 埋め込み空間内の局所的な意味的近傍をキャプチャする幾何学保存・文脈認識表現であるSemantic Field Subspace (SFS)を導入する。 また,セマンティックシフト(Semantic Shift)と呼ばれる新しい計量を用いて階層的意味構造を明らかにする,教師なし・モダリティに依存しないアルゴリズムであるSAFARIを提案する。
  論文  参考訳（メタデータ） (2025-11-30T11:48:00Z)
• Distributional Semantics Tracing: A Framework for Explaining Hallucinations in Large Language Models [4.946483489399819]
  大規模言語モデル(LLM)は、事実的に誤った文を生成する幻覚の傾向にある。 この研究は、3つの主要な貢献を通じて、この障害モードの本質的、アーキテクチャ的起源について調査する。
  論文  参考訳（メタデータ） (2025-10-07T16:40:31Z)
• Analyzing Continuous Semantic Shifts with Diachronic Word Similarity Matrices [21.852268893122115]
  本稿では,複数の期間にわたって意味的変化が発生するための,シンプルかつ直感的なフレームワークを提案する。 高速かつ軽量な単語埋め込みを用いたダイアクロニック単語類似度行列を計算した。 意味変化の類似した振る舞いを示す単語を教師なしの方法で分類することができる。
  論文  参考訳（メタデータ） (2025-01-16T13:42:09Z)
• SemFlow: Binding Semantic Segmentation and Image Synthesis via Rectified Flow [94.90853153808987]
  セマンティックセグメンテーション(Semantic segmentation)とセマンティックイメージ合成(Semantic image synthesis)は、視覚知覚と生成において代表的なタスクである。 我々は、統一されたフレームワーク(SemFlow)を提案し、それらを2つの逆問題としてモデル化する。 実験の結果,セマンティックセグメンテーションとセマンティック画像合成タスクにおいて,セマンティックセグメンテーションと競合する結果が得られた。
  論文  参考訳（メタデータ） (2024-05-30T17:34:40Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Information Topology [6.0044467881527614]
  本稿では,情報理論と代数的トポロジーを統合するフレームワークであるEmphInformation Topologyを紹介する。 スタートポイントは、順不変で予測的構造(サイクル)から点的に、順序に敏感な揺らぎ(ドット)を分離するエンファンドットサイクル二分法である。 次に,Shannonキャパシティのトポロジ的双対であるエンフォロジーキャパシティを,システムによって支えられる独立した情報サイクルの数として定義する。
  論文  参考訳（メタデータ） (2022-10-07T23:54:30Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。