論文の概要: Optimization of Latent-Space Compression using Game-Theoretic Techniques for Transformer-Based Vector Search

• arxiv url: http://arxiv.org/abs/2508.18877v1
• Date: Tue, 26 Aug 2025 09:51:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.79009
• Title: Optimization of Latent-Space Compression using Game-Theoretic Techniques for Transformer-Based Vector Search
• Title（参考訳）: 変圧器を用いたベクトル探索のためのゲーム理論手法を用いた潜時空間圧縮の最適化
• Authors: Kushagra Agrawal, Nisharg Nargund, Oishani Banerjee,
• Abstract要約: 本稿では,ベクトル探索の効率性と意味論的有用性を高めるために,潜在空間圧縮を最適化するための新しいフレームワークを提案する。 圧縮戦略を、検索精度と記憶効率のゼロサムゲームとしてモデル化することにより、冗長性を低減しつつ意味的類似性を保った潜時変換を導出する。 このトレードオフは、高ユーティリティなトランスフォーマーベースの検索アプリケーションにおけるゲーム理論の潜在圧縮の実用的価値を強調している。
• 参考スコア（独自算出の注目度）: 0.41292255339309664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vector similarity search plays a pivotal role in modern information retrieval systems, especially when powered by transformer-based embeddings. However, the scalability and efficiency of such systems are often hindered by the high dimensionality of latent representations. In this paper, we propose a novel game-theoretic framework for optimizing latent-space compression to enhance both the efficiency and semantic utility of vector search. By modeling the compression strategy as a zero-sum game between retrieval accuracy and storage efficiency, we derive a latent transformation that preserves semantic similarity while reducing redundancy. We benchmark our method against FAISS, a widely-used vector search library, and demonstrate that our approach achieves a significantly higher average similarity (0.9981 vs. 0.5517) and utility (0.8873 vs. 0.5194), albeit with a modest increase in query time. This trade-off highlights the practical value of game-theoretic latent compression in high-utility, transformer-based search applications. The proposed system can be seamlessly integrated into existing LLM pipelines to yield more semantically accurate and computationally efficient retrieval.
• Abstract（参考訳）: ベクトル類似度探索は現代の情報検索システムにおいて重要な役割を担っている。 しかし、そのようなシステムのスケーラビリティと効率性は、しばしば潜在表現の高次元性によって妨げられる。 本稿では,ベクトル探索の効率性とセマンティック性を両立させるため,潜在空間圧縮を最適化するための新しいゲーム理論フレームワークを提案する。 圧縮戦略を、検索精度と記憶効率のゼロサムゲームとしてモデル化することにより、冗長性を低減しつつ意味的類似性を保った潜時変換を導出する。 提案手法は,広く使用されているベクトル検索ライブラリであるFAISSに対してベンチマークを行い,クエリ時間の増加にもかかわらず,平均的類似性(0.9981 vs. 0.5517)と実用性(0.8873 vs. 0.5194)を著しく向上することを示した。 このトレードオフは、高ユーティリティなトランスフォーマーベースの検索アプリケーションにおけるゲーム理論の潜在圧縮の実用的価値を強調している。 提案システムは既存のLLMパイプラインにシームレスに統合して,よりセマンティックに正確かつ効率的な検索を行うことができる。

関連論文リスト

• PCA-RAG: Principal Component Analysis for Efficient Retrieval-Augmented Generation [0.0]
  高次元言語モデル埋め込みは、ストレージとレイテンシの観点からスケーラビリティの課題を提示することができる。 本稿では,主成分分析(PCA)を用いた埋め込み次元の低減について検討する。 そこで本研究では,PCAに基づく圧縮により,検索精度と資源効率のバランスがとれることを示す。
  論文  参考訳（メタデータ） (2025-04-11T09:38:12Z)
• Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
  トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。 本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T14:23:18Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• Billion-scale Similarity Search Using a Hybrid Indexing Approach with Advanced Filtering [49.1574468325115]
  本稿では,CPU推論に最適化された数十億規模のデータセット上での複雑なフィルタリング機能を備えた類似度探索のための新しい手法を提案する。 提案手法は,従来のIVF-Flatインデックス構造を拡張し,多次元フィルタを統合する。 提案アルゴリズムは,高次元空間での高速な探索を可能にするため,高密度埋め込みと離散フィルタ特性を組み合わせる。
  論文  参考訳（メタデータ） (2025-01-23T07:47:00Z)
• SIMformer: Single-Layer Vanilla Transformer Can Learn Free-Space Trajectory Similarity [11.354974227479355]
  本稿では,単一層ベニラ変換器エンコーダのみを特徴抽出器として使用する,シンプルで正確かつ高速でスケーラブルなモデルを提案する。 我々のモデルは、次元問題の呪いを著しく軽減し、有効性、効率性、スケーラビリティにおいて最先端の技術を上回ります。
  論文  参考訳（メタデータ） (2024-10-18T17:30:17Z)
• Adaptive Error-Bounded Hierarchical Matrices for Efficient Neural Network Compression [0.0]
  本稿では,物理インフォームドニューラルネットワーク(PINN)に適した動的,エラーバウンドな階層行列 (H-matrix) 圧縮手法を提案する。 提案手法は,ニューラル・タンジェント・カーネル(NTK)の本質的性質を保ちながら,大規模物理モデルにおける計算複雑性とメモリ要求を低減させる。 実験により, この手法は, 高精度を維持し, 一般化能力を向上させることにより, Singular Value Decomposition (SVD) やプルーニング, 量子化などの従来の圧縮手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-09-11T05:55:51Z)
• Unified Framework for Neural Network Compression via Decomposition and Optimal Rank Selection [3.3454373538792552]
  本稿では,決定された階数制約内での複合圧縮損失を利用して,分解と最適な階数選択を行う統一的な枠組みを提案する。 提案手法は連続空間におけるランクの自動探索を含み,トレーニングデータを用いることなく最適なランク設定を効率的に同定する。 様々なベンチマークデータセットを用いて,包括的解析により本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-05T14:15:54Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
  粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。 これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。 種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-09-25T13:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。