論文の概要: Coordinate Heterogeneity Governs Binary Quantization: From InfoNCE to Recall

• arxiv url: http://arxiv.org/abs/2605.17524v1
• Date: Sun, 17 May 2026 16:15:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.126869
• Title: Coordinate Heterogeneity Governs Binary Quantization: From InfoNCE to Recall
• Title（参考訳）: Coordinate Heterogeneity Governsバイナリ量子化:InfoNCEからリコール
• Authors: Wenxuan Xiao,
• Abstract要約: バイナリ量子化(BQ)は1座標あたり1ビットまたは2ビットに高次元の埋め込みを圧縮し、近接探索を極速で行えるようにする。 BQは対照的な埋め込みにおいて競合するリコールを達成しますが、他では失敗します。 我々は、InfoNCEで訓練された表現のために最近確立されたガウス構造を、BQ品質のための完全な分析フレームワークに接続することで、この問題を解決する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary quantization (BQ) compresses high-dimensional embeddings into one or two bits per coordinate, enabling nearest neighbor search at extreme speed. Yet a striking puzzle persists: BQ achieves competitive recall on contrastive embeddings but fails on others -- and two leading systems adopt diametrically opposite strategies (random rotation vs. preserving coordinate axes) without a common theory explaining when each is appropriate. We resolve this puzzle by connecting the Gaussian structure recently established for InfoNCE-trained representations to a complete analytical framework for BQ quality. The key insight is that coordinate heterogeneity -- the non-uniformity of per-coordinate variances -- governs the key aspects of BQ performance. We derive closed-form expressions for ranking fidelity, prove that the magnitude bit carries information proportional to heterogeneity, and show that random rotation destroys precisely the signal that one paradigm exploits while creating the isotropy that the other requires. A two-parameter scaling law predicts fidelity across models and dimensions. Experiments on 13 datasets and 6 embedding families validate all predictions and provide the first principled design guide for binary quantization systems.
• Abstract（参考訳）: バイナリ量子化(BQ)は1座標あたり1ビットまたは2ビットに高次元の埋め込みを圧縮し、近接探索を極速で行えるようにする。 BQは対照的な埋め込みにおいて競合的なリコールを達成するが、他では失敗する。そして2つの主要なシステムは、それぞれが適切なタイミングで説明される共通の理論を使わずに、対数的に反対の戦略(ランダム回転と座標軸を保存すること)を採用する。 我々は、InfoNCEで訓練された表現のために最近確立されたガウス構造を、BQ品質のための完全な分析フレームワークに接続することで、この問題を解決する。 鍵となる洞察は、座標の不均一性(コーディネート毎の分散の不均一性)がBQパフォーマンスの重要な側面を支配することである。 等方性(アイソトロピー)を創出し、等方性(異質性)に比例した情報を持つことを証明し、ランダムな回転が、一方のパラダイムが他方の要求する等方性(アイソトロピー)を創り出し、その信号を正確に破壊することを示す。 2パラメータスケーリング法則は、モデルと次元間の忠実度を予測する。 13のデータセットと6つの埋め込みファミリーの実験は、全ての予測を検証し、バイナリ量子化システムのための最初の原則設計ガイドを提供する。

関連論文リスト

• SEED: Targeted Data Selection by Weighted Independent Set [76.92528228676969]
  我々はSEEDと呼ばれる堅牢でスケーラブルなデータ選択パイプラインを開発した。 SEEDは、命令チューニング、視覚的命令チューニング、セマンティックセグメンテーションにおける最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-15T07:26:54Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Analysis of Hessian Scaling for Local and Global Costs in Variational Quantum Algorithm [0.42970700836450487]
  変分量子アルゴリズムにおけるヘッセンのエントリーワイズ解の定量化を行う。 ショットノイズに対してヘッセン成分を解くのに必要なサンプルの複雑さを規定する2つの異なるスケーリング機構を示す。
  論文  参考訳（メタデータ） (2026-01-31T15:49:23Z)
• Chaos, Entanglement and Measurement: Field-Theoretic Perspectives on Quantum Information Dynamics [0.0]
  I study scrambling and pseudorandomness in the Brownian Sachdev-Ye-Kitaev model。 弱測定SYKクラスターに対する場の理論を構築する。 測定専用SYKクラスタのための高次再正規化グループを開発した。
  論文  参考訳（メタデータ） (2025-12-11T10:04:30Z)
• Scalable Quantum Walk-Based Heuristics for the Minimum Vertex Cover Problem [0.0]
  連続時間量子ウォーク(CTQW)に基づく最小頂点被覆(MVC)問題に対する新しい量子アルゴリズムを提案する。 この枠組みでは、グラフ上の量子ウォーカーのコヒーレントな伝播は、その構造特性を状態振幅に符号化する。 我々は,CTQWに基づくアルゴリズムが優れた近似比を一貫して達成し,ネットワークトポロジに関して顕著な堅牢性を示すことを示す。
  論文  参考訳（メタデータ） (2025-12-02T17:04:57Z)
• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• Q2A: Querying Implicit Fully Continuous Feature Pyramid to Align Features for Medical Image Segmentation [10.66113563605316]
  本稿では,INRベースのデコーダの特徴的不整合問題を解決するために,新しい一段階のクエリベースの整合性パラダイムであるQ2Aを提案する。 各目標座標について、Q2Aはまず、その座標に整列したコンテキスト特徴の空間オフセットとセル解像度を記述した複数のクエリを生成し、それに対応する特徴を算出する。
  論文  参考訳（メタデータ） (2024-04-15T05:53:26Z)
• DynGFN: Towards Bayesian Inference of Gene Regulatory Networks with GFlowNets [81.75973217676986]
  遺伝子調節ネットワーク(GRN)は、遺伝子発現と細胞機能を制御する遺伝子とその産物間の相互作用を記述する。 既存の方法は、チャレンジ(1)、ダイナミックスから循環構造を識別すること、あるいはチャレンジ(2)、DAGよりも複雑なベイズ後部を学習することに焦点を当てるが、両方ではない。 本稿では、RNAベロシティ技術を用いて遺伝子発現の「速度」を推定できるという事実を活用し、両方の課題に対処するアプローチを開発する。
  論文  参考訳（メタデータ） (2023-02-08T16:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。