論文の概要: SmallReason-ColBERT: An Ultra-Small Late-Interaction Retriever for Reasoning Intensive Retrieval
- arxiv url: http://arxiv.org/abs/2609.29652v1
- Date: Sat, 29 Aug 2026 15:32:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.091218
- Title: SmallReason-ColBERT: An Ultra-Small Late-Interaction Retriever for Reasoning Intensive Retrieval
- Title（参考訳）: SmallReason-ColBERT : 集中検索のための超高速遅延反応レトリバー
- Abstract要約: 我々は3つのコンポーネントでこのギャップの多くを埋める32M遅延相互作用レトリバーである textbfSmallReason-ColBERT を紹介する。
レシピは textbf21.41 で BRIGHT で nDCG@10 を意味し、150M の Reason-ModernColBERT (22.62) の 1.21 ドル以内で、評価したすべての 33$M ColBERT より上である。
- 参考スコア（独自算出の注目度）: 22.82938587928396
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning-intensive retrieval remains difficult for small models. Compact public ColBERTs are usually trained on general-purpose corpora and underperform reasoning-tuned 150M+ baselines on BRIGHT~\cite{bright} by several nDCG@10 points. However, no public reasoning-tuned ColBERT exists at edge scale. We introduce \textbf{SmallReason-ColBERT}, a 32M late-interaction retriever that closes much of this gap with three components: a varied-length contrastive warmup on ReasonIR-VL, a hard-negative contrastive polish on merged ReasonIR-HQ and BGE-Reasoner data, and a single-layer per-query-token importance head trained on top of the frozen base. The head is trained with an un-normalised weighted MaxSim score and evaluated with its length-normalised form. In a controlled re-training, replacing this training objective with the symmetric normalised score causes the loss to stall and costs $3.59$ nDCG@10. The full recipe reaches \textbf{21.41} mean nDCG@10 on BRIGHT, within $1.21$ of the 150M Reason-ModernColBERT (22.62) and above all $\le 33$M ColBERTs we evaluate. Through ablations on capacity, initialisation, and score variants, we further show that the learned head outperforms fixed IDF weighting and that simply thresholding the learned gates is harmful. https://github.com/DataScienceUIBK/SmallReason-ColBERT
- Abstract（参考訳）: 推論集約的な検索は、小型モデルでは依然として困難である。
コンパクトな公共コルバートは、通常、汎用コーパスで訓練され、いくつかのnDCG@10ポイントでBRIGHT~\cite{bright}上の150M+ベースラインで調整される。
しかし、公式な推論調整されたColBERTはエッジスケールには存在しない。
我々は,このギャップの多くを埋める32M遅延相互作用レトリバーである \textbf{SmallReason-ColBERT} を紹介した。ReasonIR-VL上の様々な長さのコントラスト・ウォームアップ,ReasonIR-HQとBGE-Reasonerを融合したデータに対するハードトラスト・コントラスト・研磨,凍結したベース上でトレーニングされた単一層毎の重要ヘッドである。
頭部は非正規化マックスシムスコアで訓練され、その長さ正規化形式で評価される。
制御されたリトレーニングでは、このトレーニング目標を対称正規化スコアに置き換えると、損失は行き詰まり、$3.59$ nDCG@10となる。
全レシピは BRIGHT 上で textbf{21.41} に到達し、150M の Reason-ModernColBERT (22.62) の $1.21$ 以内で、評価したすべての $\le 33$M ColBERT より上である。
さらに, 容量, 初期化, 得点変動の短縮により, 学習頭部は固定IDF重み付けに優れ, 学習ゲートの閾値付けは有害であることを示す。
https://github.com/DataScienceUIBK/SmallReason-ColBERT
関連論文リスト
- ItColBERT: An Italian-Specialised Late-Interaction Retriever [0.0]
ItColBERTは、PyLateで訓練されたイタリアのコルバートの135Mパラメータである。
テストされたすべての汎用の遅延アクションベースラインよりも優れています。
唯一のクリーンなドメイン外ベンチマーク(MLDR-it)では、変化のないチェックポイントに適用される推論時間のチャンキングレシピが+0.0602 nDCG@10になる。
論文 参考訳（メタデータ） (2026-09-22T14:36:26Z) - Patterning in Practice: Debiasing Reward Models with Susceptibilities [2.095991286549444]
Instruct reward model training on Skywork-Reward-Preference v.0.2。
これは、小さなモデルや合成タスクを超えて、特異学習理論に基づくプログラムであるパターニングの最初の応用である。
論文 参考訳（メタデータ） (2026-09-01T04:20:43Z) - Displacement Is Not Direction: Evaluating Fidelity Metrics for Quantized LLM Deployment [0.7249731529275342]
高精度参照に対するKL偏差(KLD)のような忠実度指標は、ベンチマーク品質の低コストプロキシとして実際に使用されることが多い。
KLDは全コホートに対するベンチマークスコアと強く相関していることがわかった。
しかし、この関係は、ほぼベースラインのサイレントゾーンにおいて非重要な状態に崩壊する。
論文 参考訳（メタデータ） (2026-06-17T19:59:26Z) - Understanding Diversity Collapse in RLVR via the Lens of Overtraining [78.37408098404312]
検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力を高めるための重要なアプローチとなっている。
我々は、この多様性の崩壊をエンフェーバートレーニングのレンズを通してフォーマルに定式化する
本稿では,各問題の限界寄与を推論境界に推定することにより,オーバートレーニングから最適化をリダイレクトするemphBayesian boundary Gating (BBG)を提案する。
論文 参考訳（メタデータ） (2026-06-13T20:13:37Z) - The Chain Holds, the Answer Folds: Trace-Answer Dissociation in Reasoning Models Under Adversarial Pressure [8.86745721473138]
推論モデルはシングルターンベンチマークで評価されるが、マルチターンダイアログにデプロイされる。
われわれはこの不信な降伏(UC)を2ドル(約2万2000円)のラテント・ヴァース・ビヘイビア・フレームワークで分離し、指標のフリップレートとシングルターンプローブの両方を見逃す。
論文 参考訳（メタデータ） (2026-05-27T20:41:08Z) - Bayesian X-Learner: Calibrated Posterior Inference for Heterogeneous Treatment Effects under Heavy-Tailed Outcomes [0.0]
X-ラーナー(X-ラーナー、X-ラーナー、X-ラーナー、X-ラーナー、X-ラーナー、X-ラーナー、X-ラーナー、X-ラーナー、X-ラーナー。
20-25%の尾密度を持つ汚染された「鯨」DGPでは、ハマーのミニマックス=$の関係でハマー=$損失を選択する1フラグ拡張 (contamination_severity) が厳密な信頼区間を持つ$(x)$を回復する。
論文 参考訳（メタデータ） (2026-04-30T04:07:11Z) - VeriThinker: Learning to Verify Makes Reasoning Model Efficient [52.74493506816969]
大型推論モデルは、Chain-of-Thought (CoT)推論を用いて複雑なタスクで優れている。
過度に考える傾向は、必然的に長い推論連鎖に繋がる。
我々は,CoT圧縮の新しい手法であるVeriThinkerを紹介する。
論文 参考訳（メタデータ） (2025-05-23T14:17:56Z) - Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
推論能力は汎用知能の重要な構成要素である。
OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。
本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
論文 参考訳（メタデータ） (2025-02-10T18:57:29Z) - Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。
従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文 参考訳（メタデータ） (2024-11-12T11:30:53Z) - Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。
我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。
大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
論文 参考訳（メタデータ） (2024-06-21T18:06:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。