論文の概要: Improving BM25 Code Retrieval Under Fixed Generic Tokenization: Adaptive q-Log Odds as a Drop-In BM25 Fix

• arxiv url: http://arxiv.org/abs/2605.18561v1
• Date: Mon, 18 May 2026 15:41:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.919397
• Title: Improving BM25 Code Retrieval Under Fixed Generic Tokenization: Adaptive q-Log Odds as a Drop-In BM25 Fix
• Title（参考訳）: 固定されたジェネリックトークン化下でのBM25コード検索の改善:ドロップインBM25修正として適応的なq-Log Odds
• Abstract要約: 凍結したジェネリックトークン化の下で、BM25インデックスは、実行者が制御しないアナライザを持つサーチシステムによって構築されている。 我々は、Robertson-Sprck-Jones 奇数の外対を q-logarithm で置き換える。 トークン化器のアブレーションは、識別子を意識したトークン化がq-IDFからのインクリメンタルなゲインを大幅に取り除くことを示している。
• 参考スコア（独自算出の注目度）: 0.2864713389096699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In retrieval-augmented coding, failures often begin when the relevant file is absent from the retrieved context. Under frozen generic tokenization, where a BM25 index has been built by a search system whose analyzer the practitioner does not control, this failure is routine: BM25's logarithmic RSJ-odds IDF under-separates the identifier tail that distinguishes one function from another. We replace the outer logarithm of the Robertson-Spärck-Jones odds with a q-logarithm. At q=1 the transform recovers BM25 exactly by L'Hôpital's rule, and for q<1 it is a Box-Cox transform of the RSJ odds with lambda = 1-q. On CoIR CodeSearchNet Go (182K documents), oracle-tuned NDCG@10 rises from 0.2575 to 0.4874 (absolute +0.2299; +89.3% relative; zero sign reversals in 10,000 paired-bootstrap resamples, reported as p <= 10^-4). The effect is graded across code languages and is near-zero on BEIR text. A one-parameter closed form estimates a corpus-level q from hapax density and stays near q=1 on corpora where BM25 is already optimal. The index-time cost is a single pass over the sparse score matrix and query latency is unchanged. A tokenizer ablation shows that identifier-aware tokenization largely removes the incremental gain from q-IDF.
• Abstract（参考訳）: 検索強化コーディングでは、関連するファイルが検索されたコンテキストから欠落した場合に障害が発生することが多い。 BM25の対数的RSJ-odds IDFは、ある関数と別の関数を区別する識別子のテールを下位に分離する。 我々は、Robertson-Spärck-Jones 奇数の外対を q-対数に置き換える。 q=1 では変換は BM25 を L'Hôpital の法則で正確に回復し、q<1 では lambda = 1-q で RSJ の奇数の Box-Cox 変換となる。 CoIR CodeSearchNet Go (182K 文書)では、オラクルで調整された NDCG@10 が 0.2575 から 0.4874 に上昇する(絶対 +0.2299; +89.3% 相対、10,000対のブートストラップ再サンプリングにおけるゼロ符号逆転は p <= 10^-4 と報告されている)。 この効果はコード言語にまたがって評価され、BEIRテキスト上ではほぼゼロに近い。 1パラメータ閉形式は、ハファックス密度からコーパスレベル q を推定し、BM25 が既に最適であるコーパスの q=1 付近に留まる。 インデックスタイムのコストはスパーススコア行列上の1パスであり、クエリレイテンシは変わらない。 トークン化器のアブレーションは、識別子を意識したトークン化がq-IDFからのインクリメンタルなゲインを大幅に取り除くことを示している。

関連論文リスト

• CeQe: Grounding Lexical Retrieval in Semantic Evidence [0.914632796153174]
  Cross-Encoder Query Expansion (CE-QE) は、トップセマンティック検索に適用されるクロスエンコーダの関連性属性を読み取る。 全てのCE-QE拡張項は、検索された通路から冗長にコピーされるので、コーパスが含まない語彙を導入することはできない。 7つのBEIRデータセット上で、CE-QEはクエリと応答語彙が分岐する語彙リコールを大幅に改善する。
  論文  参考訳（メタデータ） (2026-08-01T05:27:20Z)
• What Does a Discrete Diffusion Model Learn? [71.03603607324338]
  離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。 まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。 すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
  論文  参考訳（メタデータ） (2026-07-06T17:56:11Z)
• Transfer Learning for FHIR Questionnaire Terminology Binding [0.0]
  質問項目のテキストが与えられたら、97,314個のアクティブコードで正しいLOINCコードを見つける。 我々は,54項目の評価セットに対して,TF-IDF,凍結MiniLM,BioBERT,BioLORD,対照的に微調整MiniLM,TF-IDF+GPTリランカの6つの手法を比較した。
  論文  参考訳（メタデータ） (2026-06-13T19:46:44Z)
• Decoded Quantum Interferometry Beyond Hamming: Rank-Metric and Translation Association Schemes [39.146761527401424]
  Decoded Quantum Interferometry (DQI) はコヒーレントデコーディングと量子フーリエ変換を用いて、構造化最適化問題の高品質な解を求める。 我々は、コアDQI機構をハミング空間を越えて、翻訳対称性を持つ有限測地へと拡張する。 min(m,n)-l付近の有効ランクプロキシによる解が得られ、対応する期待スコアはサンプルの残留ランクに制限された定数確率に変換することができる。
  論文  参考訳（メタデータ） (2026-06-03T13:12:15Z)
• Entity-Collision: A Stratified Protocol for Attributing Retrieval Lift in Agent Memory [0.0]
  エンドツーエンドのエージェント-メモリベンチマークでは、レトリバー毎に単一の hit@k が報告されている。 本稿では,BM25フロアを構造的に固定するシステムに依存しないプロトコルであるエンティティ・コリジョンを提案する。
  論文  参考訳（メタデータ） (2026-05-28T09:02:48Z)
• Entropy Across the Bridge: Conditional-Marginal Discretization for Flow and Schrödinger Samplers [68.9946633641494]
  フローマッチングとシュルディンガーブリッジは確率を定義するが、その推論格子は通常一点拡散から受け継がれる。 終端条件付き橋梁形状を境界流の進化から分離し, 橋梁を識別する条件付きエントロピーレートを導出する。 EDM/CIFAR-10では、エントロピックな時間分散は5段階のFID(186.3 pm 4.0対200.5 pm 2.9対cosineの238.0 pm 5.3)が最適である。
  論文  参考訳（メタデータ） (2026-05-15T16:11:10Z)
• The Right Answer, the Wrong Direction: Why Transformers Fail at Counting and How to Fix It [0.0]
  大規模言語モデルは、たとえカウントすべきアイテムがプロンプトに明示的に存在しているとしても、単純なカウントタスクで失敗することが多い。 この失敗は、変換器が内部的にカウントを表現しないためなのか、あるいはそれらの表現を正しい出力トークンに変換することができないためなのかを考察する。 線形プローブは、中間層からほぼ完全な精度で正しいカウントを復元する。
  論文  参考訳（メタデータ） (2026-05-05T01:13:06Z)
• Kernel Affine Hull Machines for Compute-Efficient Query-Side Semantic Encoding [1.4021008554367664]
  トランスフォーマーに基づくセマンティック検索は非常に効果的であるが、多くのデプロイメントにおいて、コーパスインデックスよりもオンラインクエリエンコーディングが主なコストとなっている。 定型的質問適応問題について検討し、決定関連検索品質を劣化させることなく、繰り返しのニューラル推論を軽量で分析学的に明示的な推定器に置き換えることができるかどうかを問う。 本稿では, 安価な語彙特徴を冷凍セマンティック埋め込み空間にマッピングするKernel Affine Hull Machines (KAHMs) を提案する。 制御されたオーストリア法定ベンチマーク(5000のクエリ、84の法則、10,762のユニット)において、KAHMは最強となる
  論文  参考訳（メタデータ） (2026-05-01T17:46:26Z)
• AXELRAM: Quantize Once, Never Dequantize [0.0]
  AXELRAMは、量子化されたKVキャッシュインデックスから直接注目スコアを算出する。 我々は,根本原因をレイヤーワイド標準に追従し,ハードウェアコストゼロの破滅的なスパイクを排除した勾配のない符号パターン選択(200の候補,8のキャリブレーションサンプル,1回)を提案する。
  論文  参考訳（メタデータ） (2026-04-03T02:03:38Z)
• TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
  トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。 NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
  論文  参考訳（メタデータ） (2025-11-12T23:09:52Z)
• No Compute Left Behind: Rethinking Reasoning and Sampling with Masked Diffusion Models [42.158430350703505]
  マスク付き拡散言語モデルは、ランダムにマスキングされたシーケンスにおける埋め込み位置を訓練する。 推論・アズ・インフィルとマルチトークンエントロピーデコーディングを提案する。 本研究は,MDLMが使用するトレーニングと計算によって,多くの新しい推論とポストトレーニング手法が解き放たれることを示す。
  論文  参考訳（メタデータ） (2025-10-22T19:41:27Z)
• Logistic-Gated Operators Enable Auditable Unit-Aware Thresholds in Symbolic Regression [3.2657452368624678]
  ロジスティックゲート演算子(LGO)は、学習可能な位置と急勾配を持つ可変ゲートである。 主にスムーズな作業では、ゲートは刈り取られ、パシモニーを保存する。 結果は、明確な単位認識しきい値を持つコンパクトな記号方程式であり、臨床アンカーに対して監査することができる。
  論文  参考訳（メタデータ） (2025-10-05T16:04:47Z)
• Quantile Advantage Estimation for Entropy-Safe Reasoning [44.192277495613695]
  RLVRによる強化学習はLLM推論を強化するが、エントロピー崩壊とエントロピー爆発の間のトレーニングはしばしば振動する いずれのハザードも値のないRLで使われる平均ベースラインに辿り着くが、これは不適切に報酬のアウトリージの下で負のアドバンテージサンプルをペナルティ化する。 本稿では,平均値をグループ単位のK量子基底線に置き換えた量子アドバンテージ推定(QAE)を提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:37:52Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Estimating the Decoding Failure Rate of Binary Regular Codes Using Iterative Decoding [84.0257274213152]
  並列ビットフリップデコーダのDFRを高精度に推定する手法を提案する。 本研究は,本症候群のモデル化およびシミュレーションによる重み比較,第1イテレーション終了時の誤りビット分布の誤検出,復号化復号化率(DFR)について検証した。
  論文  参考訳（メタデータ） (2024-01-30T11:40:24Z)
• Injecting Domain Adaptation with Learning-to-hash for Effective and Efficient Zero-shot Dense Retrieval [49.98615945702959]
  我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。 以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T17:53:44Z)
• Differentially Quantized Gradient Methods [53.3186247068836]
  微分量子化グラディエントDescence (DQ-GD) が$maxsigma_mathrmGD, rhon 2-R$の線形収縮係数を得ることを示す。 あるクラス内のアルゴリズムは$maxsigma_mathrmGD, 2-R$よりも早く収束できない。
  論文  参考訳（メタデータ） (2020-02-06T20:40:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。