論文の概要: Improving BM25 Code Retrieval Under Fixed Generic Tokenization: Adaptive q-Log Odds as a Drop-In BM25 Fix

• arxiv url: http://arxiv.org/abs/2605.18561v1
• Date: Mon, 18 May 2026 15:41:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.919397
• Title: Improving BM25 Code Retrieval Under Fixed Generic Tokenization: Adaptive q-Log Odds as a Drop-In BM25 Fix
• Title（参考訳）: 固定されたジェネリックトークン化下でのBM25コード検索の改善:ドロップインBM25修正として適応的なq-Log Odds
• Authors: Santosh Kumar Radha, Oktay Goktas,
• Abstract要約: 凍結したジェネリックトークン化の下で、BM25インデックスは、実行者が制御しないアナライザを持つサーチシステムによって構築されている。 我々は、Robertson-Sprck-Jones 奇数の外対を q-logarithm で置き換える。 トークン化器のアブレーションは、識別子を意識したトークン化がq-IDFからのインクリメンタルなゲインを大幅に取り除くことを示している。
• 参考スコア（独自算出の注目度）: 0.2864713389096699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In retrieval-augmented coding, failures often begin when the relevant file is absent from the retrieved context. Under frozen generic tokenization, where a BM25 index has been built by a search system whose analyzer the practitioner does not control, this failure is routine: BM25's logarithmic RSJ-odds IDF under-separates the identifier tail that distinguishes one function from another. We replace the outer logarithm of the Robertson-Spärck-Jones odds with a q-logarithm. At q=1 the transform recovers BM25 exactly by L'Hôpital's rule, and for q<1 it is a Box-Cox transform of the RSJ odds with lambda = 1-q. On CoIR CodeSearchNet Go (182K documents), oracle-tuned NDCG@10 rises from 0.2575 to 0.4874 (absolute +0.2299; +89.3% relative; zero sign reversals in 10,000 paired-bootstrap resamples, reported as p <= 10^-4). The effect is graded across code languages and is near-zero on BEIR text. A one-parameter closed form estimates a corpus-level q from hapax density and stays near q=1 on corpora where BM25 is already optimal. The index-time cost is a single pass over the sparse score matrix and query latency is unchanged. A tokenizer ablation shows that identifier-aware tokenization largely removes the incremental gain from q-IDF.
• Abstract（参考訳）: 検索強化コーディングでは、関連するファイルが検索されたコンテキストから欠落した場合に障害が発生することが多い。 BM25の対数的RSJ-odds IDFは、ある関数と別の関数を区別する識別子のテールを下位に分離する。 我々は、Robertson-Spärck-Jones 奇数の外対を q-対数に置き換える。 q=1 では変換は BM25 を L'Hôpital の法則で正確に回復し、q<1 では lambda = 1-q で RSJ の奇数の Box-Cox 変換となる。 CoIR CodeSearchNet Go (182K 文書)では、オラクルで調整された NDCG@10 が 0.2575 から 0.4874 に上昇する(絶対 +0.2299; +89.3% 相対、10,000対のブートストラップ再サンプリングにおけるゼロ符号逆転は p <= 10^-4 と報告されている)。 この効果はコード言語にまたがって評価され、BEIRテキスト上ではほぼゼロに近い。 1パラメータ閉形式は、ハファックス密度からコーパスレベル q を推定し、BM25 が既に最適であるコーパスの q=1 付近に留まる。 インデックスタイムのコストはスパーススコア行列上の1パスであり、クエリレイテンシは変わらない。 トークン化器のアブレーションは、識別子を意識したトークン化がq-IDFからのインクリメンタルなゲインを大幅に取り除くことを示している。

関連論文リスト

• Entropy Across the Bridge: Conditional-Marginal Discretization for Flow and Schrödinger Samplers [68.9946633641494]
  フローマッチングとシュルディンガーブリッジは確率を定義するが、その推論格子は通常一点拡散から受け継がれる。 終端条件付き橋梁形状を境界流の進化から分離し, 橋梁を識別する条件付きエントロピーレートを導出する。 EDM/CIFAR-10では、エントロピックな時間分散は5段階のFID(186.3 pm 4.0対200.5 pm 2.9対cosineの238.0 pm 5.3)が最適である。
  論文  参考訳（メタデータ） (2026-05-15T16:11:10Z)
• The Right Answer, the Wrong Direction: Why Transformers Fail at Counting and How to Fix It [0.0]
  大規模言語モデルは、たとえカウントすべきアイテムがプロンプトに明示的に存在しているとしても、単純なカウントタスクで失敗することが多い。 この失敗は、変換器が内部的にカウントを表現しないためなのか、あるいはそれらの表現を正しい出力トークンに変換することができないためなのかを考察する。 線形プローブは、中間層からほぼ完全な精度で正しいカウントを復元する。
  論文  参考訳（メタデータ） (2026-05-05T01:13:06Z)
• Kernel Affine Hull Machines for Compute-Efficient Query-Side Semantic Encoding [1.4021008554367664]
  トランスフォーマーに基づくセマンティック検索は非常に効果的であるが、多くのデプロイメントにおいて、コーパスインデックスよりもオンラインクエリエンコーディングが主なコストとなっている。 定型的質問適応問題について検討し、決定関連検索品質を劣化させることなく、繰り返しのニューラル推論を軽量で分析学的に明示的な推定器に置き換えることができるかどうかを問う。 本稿では, 安価な語彙特徴を冷凍セマンティック埋め込み空間にマッピングするKernel Affine Hull Machines (KAHMs) を提案する。 制御されたオーストリア法定ベンチマーク(5000のクエリ、84の法則、10,762のユニット)において、KAHMは最強となる
  論文  参考訳（メタデータ） (2026-05-01T17:46:26Z)
• AXELRAM: Quantize Once, Never Dequantize [0.0]
  AXELRAMは、量子化されたKVキャッシュインデックスから直接注目スコアを算出する。 我々は,根本原因をレイヤーワイド標準に追従し,ハードウェアコストゼロの破滅的なスパイクを排除した勾配のない符号パターン選択(200の候補,8のキャリブレーションサンプル,1回)を提案する。
  論文  参考訳（メタデータ） (2026-04-03T02:03:38Z)
• Logistic-Gated Operators Enable Auditable Unit-Aware Thresholds in Symbolic Regression [3.2657452368624678]
  ロジスティックゲート演算子(LGO)は、学習可能な位置と急勾配を持つ可変ゲートである。 主にスムーズな作業では、ゲートは刈り取られ、パシモニーを保存する。 結果は、明確な単位認識しきい値を持つコンパクトな記号方程式であり、臨床アンカーに対して監査することができる。
  論文  参考訳（メタデータ） (2025-10-05T16:04:47Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Estimating the Decoding Failure Rate of Binary Regular Codes Using Iterative Decoding [84.0257274213152]
  並列ビットフリップデコーダのDFRを高精度に推定する手法を提案する。 本研究は,本症候群のモデル化およびシミュレーションによる重み比較,第1イテレーション終了時の誤りビット分布の誤検出,復号化復号化率(DFR)について検証した。
  論文  参考訳（メタデータ） (2024-01-30T11:40:24Z)
• Injecting Domain Adaptation with Learning-to-hash for Effective and Efficient Zero-shot Dense Retrieval [49.98615945702959]
  我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。 以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T17:53:44Z)
• Differentially Quantized Gradient Methods [53.3186247068836]
  微分量子化グラディエントDescence (DQ-GD) が$maxsigma_mathrmGD, rhon 2-R$の線形収縮係数を得ることを示す。 あるクラス内のアルゴリズムは$maxsigma_mathrmGD, 2-R$よりも早く収束できない。
  論文  参考訳（メタデータ） (2020-02-06T20:40:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。