論文の概要: High-Dimensional Concentration and Retrieval Instability in Embedding Spaces: Implications for Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2606.28330v1
- Date: Tue, 19 May 2026 17:44:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:12.955866
- Title: High-Dimensional Concentration and Retrieval Instability in Embedding Spaces: Implications for Retrieval-Augmented Generation
- Title(参考訳): 埋め込み空間における高次元濃度と検索不安定性:検索量増加への示唆
- Abstract要約: 埋め込みに基づく検索システムは、高次元表現空間における幾何学的近接が意味的関連性を反映しているという仮定に依存している。
本研究は, 制御された数値実験による距離濃度, コサイン濃度, コントラスト崩壊, ハブ性, 検索不安定性について検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embedding-based retrieval systems rely on the assumption that geometric proximity in highdimensional representation spaces reflects semantic relevance. However, high-dimensional geometry induces concentration phenomena that can reduce the discriminative power of similarity measures and can destabilize nearest-neighbor retrieval. This work studies distance concentration, cosine concentration, contrast collapse, hubness, and retrieval instability through controlled numerical experiments across multiple synthetic distributions. The results show that similarity signals progressively lose contrast as dimension increases, leading to unstable retrieval behavior and structural bias in nearest-neighbor selection. A simplified Retrieval-Augmented Generation experiment further suggests that these effects can degrade grounding reliability upstream of generation. These findings motivate geometry-aware diagnostics and robustness-oriented retrieval strategies for embedding-based AI systems. The experiments are intentionally synthetic in order to isolate intrinsic geometric effects. High-dimensional embedding space Distance and cosine concentration Score-gap collapse and hubness Retrieval instability under perturbations Weak or incomplete retrieved context Potential degradation of grounding 1.
- Abstract(参考訳): 埋め込みに基づく検索システムは、高次元表現空間における幾何学的近接が意味的関連性を反映しているという仮定に依存している。
しかし、高次元幾何学は類似度測定の判別力を低下させ、隣り合う探索を不安定にすることができる濃度現象を誘導する。
本研究は, 距離濃度, コサイン濃度, コントラスト崩壊, ハブ性, 検索不安定性を, 複数の合成分布の制御された数値実験により検討した。
その結果、類似性信号は次元が大きくなるにつれてコントラストが徐々に減少し、近辺選択における不安定な検索挙動と構造バイアスが生じることが示された。
さらに、簡易な検索・拡張生成実験により、これらの効果が生成の上流で地盤の信頼性を低下させることが示唆された。
これらの知見は、埋め込み型AIシステムのための幾何学的認識とロバスト性指向の検索戦略を動機付けている。
実験は、固有の幾何学的効果を分離するために意図的に合成されている。
高次元埋め込み空間距離とコサイン濃度 スコアギャップ崩壊と摂動弱または不完全回復条件下でのハブ性検索の不安定性 グラウンドグラウンド1のポテンシャル劣化
関連論文リスト
- Solution-space heterogeneity shapes federated learning dynamics across partial differential equations [41.890949680958805]
フェデレートされた機械学習により、組織は局所的な物理データを集中することなく、ニューラルネットワークを訓練できる。
既存のプロトコルは、方程式固有の規則に従って座標、係数、境界条件、またはジオメトリを分割する。
本稿では、連続的な教師付き応答を再利用可能なソリューションビンに変換するプロトコルであるPDE-Dirichletについて紹介する。
論文 参考訳(メタデータ) (2026-09-04T11:23:29Z) - Geometric Collapse: When Vision Models Fail to Verify Physical Causality [52.43819179934414]
スクランブルドエッジ(Scrambled Edges)は、サリアントエッジのようなキューを注入する制御されたカウンターファクトである。
エネルギー整合制御と構造整合制御により, 高周波エネルギーとエッジ間隔から支持エッジエビデンスの効果を分離する。
CNN/ViT/SSL深度予測器を通して、Scrambled Edgesはエネルギー整合ノイズよりもクリーンな予測から最大3.2倍大きな偏差を誘導する。
論文 参考訳(メタデータ) (2026-07-08T00:04:02Z) - Shrinkage priors for Bayesian Substitute Confounders [2.1080886003173283]
粗大な多因性依存の減少を先行的に維持するスパース代行者の学習フレームワークを開発する。
提案した回帰調整型推定器は、対応する潜在変数同定仮定が成立すると、平均ポテンシャル結果に一貫性がある。
論文 参考訳(メタデータ) (2026-06-16T23:03:42Z) - High-Dimensional Latents Should Be Diagnosed Through Phase Structure [56.362776482614976]
スピングラス理論のレンズによるオートエンコーダと変分オートエンコーダの潜在空間について検討した。
固定復号器用の潜時空間スピングラス辞書を定式化する。
トポロジカルな自明化機構のエッジ・オブ・ステイティに向けて潜伏系を駆動することは、下流に具体的な結果をもたらすことを示す。
論文 参考訳(メタデータ) (2026-05-23T06:17:23Z) - Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine [60.669081685261965]
拡散モデルは、顕著な品質で高次元データを生成する。
彼らのトレーニングがいかに効率的にスコア関数を学習するかは理論的には説明がつかないままである。
我々はこの原理をScore-induced Latent Diffusion (SiLD)として定式化する。
論文 参考訳(メタデータ) (2026-05-16T16:51:10Z) - Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。
本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2026-03-16T17:20:38Z) - On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation [51.56484100374058]
このような情報条件の相互作用パターンを振る舞い依存として定式化する。
これにより、$$-behavioural equivalenceというプローブ相対的な概念と、政治内行動距離が導かれる。
その結果、共通政策変換の下でプローブ条件の挙動分離が保存されない構造条件が明らかになった。
論文 参考訳(メタデータ) (2026-02-24T22:55:21Z) - Bridging Information Asymmetry: A Hierarchical Framework for Deterministic Blind Face Restoration [31.878334664450776]
セマンティックロジックと連続的なテクスチャ生成を統合した階層型フレームワークである textbfPrefRestore を提案する。
本手法は,2つの相補的戦略により,この情報格差を根本的に解決する。
Pref-Restoreは、合成および実世界のベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-01-27T11:50:31Z) - GO-OSC and VASH: Geometry-Aware Representation Learning for Early Degradation Detection in Oscillatory Systems [0.0]
本稿では,振動時系列の幾何学的表現学習フレームワークGO-OSCを紹介する。
初期位相のみの劣化下では、エネルギーベースの統計は1次検出能力がゼロであるのに対し、幾何プローブは厳密に正の感度を得る。
解析では, 線形探索が不特定表現の下でいつ, なぜ失敗するのかを特徴付けるとともに, 正準化が統計的検出性を回復することを示す。
論文 参考訳(メタデータ) (2026-01-24T09:35:57Z) - Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。
低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。
文献に現れる異種の経験的所見を総合的に検討した。
論文 参考訳(メタデータ) (2025-10-20T21:40:36Z) - A simple connection from loss flatness to compressed neural representations [3.5502600490147196]
損失ランドスケープの平坦さを反映したパラメータ空間の幾何学的測度であるシャープネスは、ニューラルネットワークの挙動と潜在的な関係について長い間研究されてきた。
本稿では,特徴空間におけるニューラル表現の局所的幾何学的特徴がシャープさがどのように影響するかを考察する。
論文 参考訳(メタデータ) (2023-10-03T03:36:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。