論文の概要: Geometric Structure Predicts Per-Example Neighborhood Loss Under PCA Truncation
- arxiv url: http://arxiv.org/abs/2610.17742v1
- Date: Tue, 13 Oct 2026 05:20:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 17:31:13.447506
- Title: Geometric Structure Predicts Per-Example Neighborhood Loss Under PCA Truncation
- Title(参考訳): PCAトラニケーションによる隣人当たりの損失の幾何学的構造予測
- Abstract要約: 局所的次元性は、対比較において現代文エンコーダの密度よりも多様である。
平均圧縮性能は、幾何学的に見えるような、系統的なサンプルごとの変動を隠蔽する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dimensionality reduction can preserve the average performance of text embeddings even when a substantial fraction of their dimensions is removed. Aggregate metrics, however, do not reveal whether degradation is distributed uniformly across examples. We study per-example neighborhood stability under PCA truncation across static word embeddings and modern sentence encoders. Per-item neighbor retention varies widely and is predictable from geometric properties of the representation and its alignment with the retained PCA subspace. The fraction of centered-vector energy retained by the truncated subspace is strongest for CBOW and RI, with neighborhood contrast leading on SkipGram and the modern/Matryoshka settings (GTE approximately tied), while local density is associated with retention in marginal analysis but adds little unique information once energy and contrast are controlled (R-squared increments 0.001 to 0.010). Local intrinsic dimensionality accounts for more variation than density on modern sentence encoders in pairwise comparison. On SciFact, query density predicts retrieval degradation under aggressive compression; on NFCorpus the primary 32d association does not replicate, and a direct variance-restriction test leaves that null unresolved. Average compression performance conceals systematic per-example variation that geometry makes visible.
- Abstract(参考訳): 寸法の低減は、その寸法のかなりの部分を取り除いても、テキスト埋め込みの平均性能を維持することができる。
しかし、集約メトリクスは、分解が例によって均一に分散されているかどうかを明らかにしない。
静的単語埋め込みと現代文エンコーダをまたいだPCAの切り離し下での近傍の安定性について検討する。
近傍の局所的保持は様々であり、表現の幾何学的性質と保持PCA部分空間とのアライメントから予測可能である。
切り抜かれた部分空間が保持する中心ベクトルエネルギーの分画は、CBOW と RI にとって最強であり、SkipGram と近辺コントラストを導く近辺コントラストと現代の/マトリシカセッティング(GTE はほぼ結びついている)は、局所密度は、限界解析における保持と結びついているが、エネルギーとコントラストが制御されたときの独特な情報はほとんどない(R-squared increments 0.001 - 0.010)。
局所内在的次元性は、対比較において現代文エンコーダの密度よりも多くの変動を説明できる。
SciFactでは、クエリ密度がアグレッシブ圧縮下での検索劣化を予測する。NFCorpusでは、プライマリ32dアソシエーションは複製されず、直接分散制限テストは未解決のままである。
平均圧縮性能は、幾何学的に見えるような、系統的なサンプルごとの変動を隠蔽する。
関連論文リスト
- Robust Tensor Completion via Reflective Convolution Nuclear Norm Minimization [7.756743278378846]
ロバストテンソル完了は、粗大な粗誤差によって破損した部分的な観測から多次元データを復元する。
本稿では、円形シフトを終端非反復反射に置き換える反射畳み込み核ノルム最小化(RCNNM)を提案する。
合成テンソル、BSDS色画像、CAVEマルチスペクトル画像の実験により、RCNNMはその円形リフト画像よりも一貫して改善されていることが示された。
論文 参考訳(メタデータ) (2026-10-04T05:49:38Z) - Feasibility and Memory Mechanisms of Chern-Simons Context Reservoir Computation [0.0]
我々は,Chern-Simonsコンテキスト貯水池が有効な計算基板であるかどうかを検討する。
ゲージ比の影響から一般的な貯水池の挙動を分離するため、4つの整合モデルを比較した。
一般的な貯水池の優越性よりも、幾何や秩序に敏感な処理にタスク固有の利点を見出す。
論文 参考訳(メタデータ) (2026-09-10T17:45:30Z) - Beyond Legal Spacing: A Residual-Aware Characterization of Entangling-Zone Spacing in Neutral-Atom Compilation [8.092675025427058]
ニュートラル原子プロセッサは、スケーラブルな実行のために空間配置されたキュービットアレイと平行なライドバーグエンタングゲートに依存している。
本研究では、エンタングリングゾーン間隔を実験中原子幾何に固定された層間信頼-並列性変数として扱うことにより、幾何的合法性と残留雑音とのギャップについて検討する。
論文 参考訳(メタデータ) (2026-08-18T03:40:59Z) - Trajectory-Anchor Optimization for Overconfident Thermal Visual Place Recognition: Zero-Leakage OOD Auditing and Kidnapped-Robot Recovery [3.9929096403817255]
Trajectory-Anchor Optimization (TAO) はマクロスケールでの効率的なフェールセーフフィルタである。
5mの半径内では、幻覚はしばしば固いアライメントを知覚する局所的に一貫した幾何学を持つ。
TAOは、多視点の一貫性が破滅的な地形破壊を確実に分離する、明確な収束盆地(10m)を確立している。
論文 参考訳(メタデータ) (2026-07-06T07:31:37Z) - Rank-Aware Hyperbolic Alignment for Vision-Language Dataset Distillation [54.74045834035952]
視覚言語データセット蒸留(VLDD)は、大きな画像テキストのペア化されたデータセットを小さな合成ペアに圧縮する。
階層幾何学と明示的なアライメント・キャパシティ制御を組み合わせたランク認識型双曲アライメント(RAHA)を提案する。
RAHAは、競争力のあるクロスモーダル検索と、固定予算下での転送インジケータの改善を示す。
論文 参考訳(メタデータ) (2026-06-28T15:41:31Z) - Curvature-Aware PCA with Geodesic Tangent Space Aggregation for Semi-Supervised Learning [52.452902154360565]
GTSA-PCAは主成分分析の幾何学的拡張である。
曲率認識と測地的整合性を統合されたスペクトルフレームワークに統合する。
以上の結果から,GTSA-PCAは次元減少に対する統計的および幾何学的アプローチの原則的ブリッジとして位置づけられた。
論文 参考訳(メタデータ) (2026-04-20T20:36:36Z) - LG-HCC: Local Geometry-Aware Hierarchical Context Compression for 3D Gaussian Splatting [77.81227097905865]
アンカーベースの3DGS圧縮スキームは、いくつかの高度な文脈モデルを通してガウスの冗長性を減少させる。
本稿では, アンカープルーニングとエントロピー符号化にアンカー幾何学的相関を組み込んだ3DGSのための局所幾何学的階層型コンテキスト圧縮フレームワークを提案する。
実験の結果、LG-HCCは構造保存の問題を効果的に緩和し、Mip-NeRF360データセット上のScaffold-GSベースラインと比較して最大30.85倍のストレージを削減した。
論文 参考訳(メタデータ) (2026-03-30T13:39:35Z) - Compression Hacking: A Supplementary Perspective on Informatics Properties of Language Models from Geometric Distortion [56.12939353271623]
幾何学的観点から、高度に圧縮されたLMのワード表現空間は、非常に異方性のある状態に縮退する傾向がある。
この同期性は基本的にLM表現におけるCompression Hacking''である。
幾何学的歪み解析を取り入れ, 自己評価パイプラインに統合することにより, 高精度な3つの圧縮指標を提案する。
論文 参考訳(メタデータ) (2025-05-23T12:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。