論文の概要: Kernel Affine Hull Machines for Compute-Efficient Query-Side Semantic Encoding

• arxiv url: http://arxiv.org/abs/2605.02950v1
• Date: Fri, 01 May 2026 17:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.531126
• Title: Kernel Affine Hull Machines for Compute-Efficient Query-Side Semantic Encoding
• Title（参考訳）: 計算効率の良いクエリ側セマンティックエンコーディングのためのカーネルアフィンハルマシン
• Authors: Mohit Kumar, Somayeh Kargaran, Bernhard A. Moser, Manuela Geiß,
• Abstract要約: トランスフォーマーに基づくセマンティック検索は非常に効果的であるが、多くのデプロイメントにおいて、コーパスインデックスよりもオンラインクエリエンコーディングが主なコストとなっている。 定型的質問適応問題について検討し、決定関連検索品質を劣化させることなく、繰り返しのニューラル推論を軽量で分析学的に明示的な推定器に置き換えることができるかどうかを問う。 本稿では, 安価な語彙特徴を冷凍セマンティック埋め込み空間にマッピングするKernel Affine Hull Machines (KAHMs) を提案する。 制御されたオーストリア法定ベンチマーク(5000のクエリ、84の法則、10,762のユニット)において、KAHMは最強となる
• 参考スコア（独自算出の注目度）: 1.4021008554367664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based semantic retrieval is highly effective, yet in many deployments the dominant cost lies in online query encoding rather than corpus indexing. We study the fixed-teacher query-adaptation problem and ask whether repeated neural inference can be replaced by a lightweight, analytically explicit estimator without degrading decision-relevant retrieval quality. We propose Kernel Affine Hull Machines (KAHMs), which map inexpensive lexical features into a frozen semantic embedding space by estimating prototype-mixture weights in a rigorously specified RKHS and refining prototypes via normalized least-mean-squares, yielding a transparent decomposition of encoding error into posterior-approximation, generalization, and teacher-noise components. On a controlled Austrian-law benchmark (5,000 queries; 84 laws; 10,762 units), KAHM attains the strongest teacher-space reconstruction among matched learned adapters (MSE 0.000091, R^2 0.9071, cosine 0.9536) and consistently leads rank-sensitive metrics, including mean reciprocal rank at 20 (MRR@20, the average inverse rank of the first relevant result within the top 20), Hit rate at 20 (Hit@20, the fraction of queries with at least one relevant result in the top 20), and Top-1 accuracy (the fraction of queries whose correct item is ranked first), with scores of 0.504, 0.694, and 0.411, respectively. It also reduces per-query latency by a factor of 8.5 relative to direct transformer encoding. These results demonstrate that, in fixed-teacher regimes, lightweight geometric estimators can substitute for online neural encoding, preserving retrieval performance while substantially improving efficiency and interpretability.
• Abstract（参考訳）: トランスフォーマーに基づくセマンティック検索は非常に効果的であるが、多くのデプロイメントにおいて、コーパスインデックスよりもオンラインクエリエンコーディングが主なコストとなっている。 定型的質問適応問題について検討し、決定関連検索品質を劣化させることなく、繰り返しのニューラル推論を軽量で分析学的に明示的な推定器に置き換えることができるかどうかを問う。 提案するKernel Affine Hull Machines (KAHMs) は, 安価な語彙特徴を, 厳密に指定されたRKHSのプロトタイプ混合重量を推定し, 正規化された最小二乗法によりプロトタイプを精製することにより, 後部近似, 一般化, 教師ノイズ成分への符号化誤差の透過的分解を導出することにより, 凍結セマンティック埋め込み空間にマッピングする。 制御されたオーストリア法定ベンチマーク(5000のクエリ、84の法律、10,762のユニット)において、KAHMはマッチした学習アダプタ(MSE 0.000091, R^2 0.9071, cosine 0.9536)の中で最強の教師空間再構成を達成し、それぞれ0.504, 0.694, 0.411のスコアで、平均相反位20(MRR@20、トップ20における第1次結果の平均逆ランク)、ヒットレート20(Hit@20、トップ20における少なくとも1つの結果を持つクエリの分数)、トップ1の精度(それぞれ0.504, 0.694, 0.411)を含むランク感性指標を一貫してリードする。 また、直接変換器エンコーディングと比較して、クエリごとのレイテンシを8.5倍に削減する。 これらの結果は, 固定教師体制では, 軽量な幾何推定器がオンラインニューラルエンコーディングに代えて, 検索性能を保ちながら, 効率と解釈性を大幅に向上させることができることを示した。

関連論文リスト

• Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
  EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク 提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。 HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
  論文  参考訳（メタデータ） (2025-10-12T05:38:10Z)
• Efficient k-NN Search with Cross-Encoders using Adaptive Multi-Round CUR Decomposition [77.4863142882136]
  クロスエンコーダモデルは、直接k-nearest neighbor(k-NN)サーチには不当に高価である。 本稿では,現実的に重要なトップk近傍の近似誤差を適応的に,反復的に,効率的に最小化するADACURを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:01:17Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• Rapid Person Re-Identification via Sub-space Consistency Regularization [51.76876061721556]
  Person Re-Identification (ReID) は、歩行者を分離したカメラで識別する。 実値特徴記述子を用いた既存のReID法は精度が高いが、ユークリッド距離計算が遅いため効率が低い。 本稿では,ReID 処理を 0.25 倍高速化するサブスペース一貫性規則化 (SCR) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-13T02:44:05Z)
• Accelerating Attention through Gradient-Based Learned Runtime Pruning [9.109136535767478]
  自己認識は、トランスフォーマーベースの自然言語処理モデルにおいて、最先端の精度を実現する重要な手段である。 本稿では、学習の損失関数に組み込まれたソフトな微分可能正規化器による探索を定式化する。 我々は、ビットレベルの早期終了マイクロアーキテクチャ機構を持つトランスフォーマー言語モデルに対して、LeOPArdと呼ばれるビットシリアルアーキテクチャを考案した。
  論文  参考訳（メタデータ） (2022-04-07T05:31:13Z)
• Rethinking Reconstruction Autoencoder-Based Out-of-Distribution Detection [0.0]
  リコンストラクションオートエンコーダに基づく手法は、入力再構成誤差を新規性対正規性の計量として用いることでこの問題に対処する。 本稿では, 意味的再構成, データの確実性分解, 正規化L2距離を導入し, 元の手法を大幅に改善する。 提案手法は,追加データや実装の困難さ,時間を要するパイプライン,さらには既知のクラスの分類精度を損なうことなく機能する。
  論文  参考訳（メタデータ） (2022-03-04T09:04:55Z)
• Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding [57.08875260900373]
  即時文法的誤り訂正(GEC)のためのトランスフォーマーのオンライン推論効率を改善するために,Shallow Aggressive Decoding (SAD)を提案する。 SADは、計算並列性を改善するために、各ステップで1つのトークンだけを復号するのではなく、可能な限り多くのトークンを並列に復号する。 英語と中国語のGECベンチマークでの実験では、アグレッシブな復号化がオンライン推論の大幅なスピードアップをもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-09T10:30:59Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。