論文の概要: When Does Dense Retrieval Need Asymmetric Geometry? A Bias-Variance Theory of Shared and Dual Projections
- arxiv url: http://arxiv.org/abs/2609.32488v1
- Date: Sat, 26 Sep 2026 11:30:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 08:35:33.906755
- Title: When Does Dense Retrieval Need Asymmetric Geometry? A Bias-Variance Theory of Shared and Dual Projections
- Title（参考訳）: 密度検索には非対称幾何が必要か : 共有射影と双射影のバイアス分散理論
- Abstract要約: 低ランク線型作用素に対するバイアス分散理論を導入する。
共有射影は双半有限作用素を誘導するが、双対射影は任意の低ランク作用素を実現する。
- 参考スコア（独自算出の注目度）: 11.264901800638313
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dense retrieval powers retrieval-augmented generation, semantic search, and question answering, yet the theoretical basis for choosing between shared and dual query-document projections remains unclear. We introduce a bias-variance theory for low-rank bilinear scoring. Shared projections induce positive-semidefinite operators, whereas dual projections realize arbitrary low-rank operators. We derive their exact approximation gap and prove a local Gaussian boundary: dual has lower risk exactly when squared directional signal exceeds the estimation cost of its additional degrees of freedom. This boundary motivates the Cross-fitted Asymmetry Risk Selector (CARS), which estimates reproducible directional signal from training pairs; its Gaussian counterpart admits exact selection-power and regret formulas. Guided by the theory, we run retrieval experiments across multiple datasets and embedding models. The mean Dual-minus-Shared NDCG@10 advantage more than doubles as query rotation increases from 0 degrees to 90 degrees. In the rank-sample-size grids, Shared wins 13 of 16 cells at n=32, whereas Dual wins all 32 cells at n=1024 and n=2048. Consistent with this shift, all 168 comparable operator-risk curves move toward Dual as training data grow. Compared to the two fixed-geometry baselines, CARS reduces held-out regret by 49-96% and achieves 90.1% mean geometry-selection accuracy.
- Abstract（参考訳）: Dense Searchは検索強化生成,セマンティック検索,質問応答を有効活用するが,共有と二重の問合せ文書のプロジェクションを選択する理論的基礎はいまだ不明である。
低ランク双線形スコアリングに対するバイアス分散理論を導入する。
共有射影は正半有限作用素を誘導する一方、双対射影は任意の低ランク作用素を実現する。
我々はそれらの正確な近似ギャップを導出し、局所ガウス境界を証明し、二乗は二乗方向信号が追加自由度の推定コストを超える場合のリスクを正確に低くする。
この境界はクロスフィット非対称性リスクセレクタ (CARS) を動機付けており、これはトレーニングペアから再現可能な方向信号を推定するものである。
この理論に導かれ、複数のデータセットと埋め込みモデルにまたがって検索実験を行う。
平均的なDual-minus-Shared NDCG@10は、クエリローテーションが0度から90度に増加するにつれて2倍以上の利点がある。
ランクサンプラーサイズグリッドでは、Sharedはn=32で16セル中13セルに、Dualはn=1024とn=2048で32セルに勝利する。
このシフトとは対照的に、168の演算子リスク曲線はすべて、トレーニングデータが増加するにつれてDualに移行する。
2つの固定幾何ベースラインと比較して、CARSはホールドアウト後悔を49-96%減らし、90.1%の平均幾何選択精度を達成した。
関連論文リスト
- A Unified Per-Token Gating Family for On-Policy Distillation: FKL/RKL Mixing with Multi-Channel and Bias Coefficients [6.033644084569457]
オンライン知識蒸留(OPD)の標準技術として、前方/逆KL損失の一括ゲーティングが採用されている。
EOPDとToDiはそれぞれ1つのゲーティング信号と1つのゲーティング方向を固定し、両者を直接比較したことはない。
EOPDとToDiの方向整列プロキシが1次元(1次元)制約として現れる4係数パラメタライゼーション_t = sigma(a * h_t + b * u(x) + c + d * gap_t)を導入する。
論文 参考訳（メタデータ） (2026-09-10T16:22:35Z) - Contraction-Gauge Preconditioning for Quantized Matrix Multiplication [0.14680035572775532]
両因子を定量化したC=ABの低精度計算について検討した。
期待される2乗積誤差に対して、正確な有限次元の恒等式を導出する。
決定論的ラウンド・トゥ・アレスト誤差を実験的に評価した。
論文 参考訳（メタデータ） (2026-07-21T06:09:08Z) - Representation Distribution Matching for One-Step Visual Generation [107.84208192304455]
表現分布マッチング(Representation Distribution Matching, RDM)の設計空間の解明
2つの設計軸、分布がどのように比較され、それらの表現が比較されるかを特定し、それに沿って制御された研究によって3つの結果が得られた。
同じレシピは4ステップのFLUX.2[klein]を1ステップのジェネレータに後付けし、GenEvalの4ステップバージョンである0.826から0.794、PickScoreの22.76から22.58を90 H200 GPU時間で上回った。
論文 参考訳（メタデータ） (2026-07-02T16:15:38Z) - Measuring the Symmetry--Data Exchange Rate [0.2538209532048867]
同一の軌道サイズと一致した計算値を持つ間違った群制御は制約を伴わないよりも悪いことを示す。
相対交換率beta_diff = 1.28は、理論ブートストラップ1.0と符号と桁違いに一致している。
手法的貢献 -- 共有拡散の欠点をキャンセルする相対レート推定器、間違ったグループ制御、および予め特定された失敗分類 - は、強度をパラメータ化できる帰納バイアスに転送される。
論文 参考訳（メタデータ） (2026-05-31T08:17:40Z) - Striding Across Reynolds Numbers: Representation Geometry in Neural PDE Generalisation [0.5451632647096261]
ニューラルPDE解法におけるクロスレイノルズ一般化は、いまだにあまり特徴づけられていない。
我々は、この仮説を、ソーストレーニングされた畳み込みオートエンコーダ潜在空間の状態と一致するConvAE-Relayを通して検証する。
実験では、整合がマニフォールド上に留まっている場合、ソース・レジームのダイナミックス方向が転送可能である(コサイン類似度0.84)ことが確認された。
論文 参考訳（メタデータ） (2026-05-28T15:49:26Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Thinking in Different Spaces: Domain-Specific Latent Geometry Survives Cross-Architecture Translation [0.7162422068114824]
独立に訓練された言語モデルが幾何学的に互換性のある潜在表現に収束するかどうかを検討する。
我々は,大規模教師モデルの活性化ベクトルをより小さな学生モデルの座標系にマッピングする線形投影行列を学習する。
幾何アライメントの品質と行動補正率のほぼゼロの相関を報告する。
論文 参考訳（メタデータ） (2026-03-20T18:26:23Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
深部異方性回帰における自己教師付き共分散推定について検討する。
正規分布の間の2-ワッサーシュタイン距離の上界を導出する。
幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
論文 参考訳（メタデータ） (2025-02-14T22:37:11Z) - Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-08T16:06:29Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳（メタデータ） (2021-05-16T09:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。