論文の概要: System One models Are Not Better Rerankers
- arxiv url: http://arxiv.org/abs/2610.32318v1
- Date: Fri, 23 Oct 2026 08:16:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.431345
- Title: System One models Are Not Better Rerankers
- Title（参考訳）: システム1モデルはリランカーが良くない
- Abstract要約: System Oneモデルまたは決定モデルでは、生成されたテキストの代わりにキャリブレーションされた確率で入力に関する質問に答える。
決定の微調整が、同じモデルの平易な再帰的な微調整よりも良いリランカになるかどうかを検証する。
0.6Bから9Bまで、リランカーの微調整は各バックボーンに5点から29点のnDCG@10で勝利し、ゼロショットコレクションにも勝利し、27Bでは2つのタイが勝利した。
- 参考スコア（独自算出の注目度）: 2.5981531297161307
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: System One models, or decision models, answer a question about an input with a calibrated probability instead of generated text. Within weeks of the first release, in September 2026, they were used as rerankers. We test whether the decision fine-tuning behind them makes a better reranker than plain reranker fine-tuning of the same model. For six Qwen backbones from 0.6B to 27B parameters and ten TREC DL and BEIR collections, we compare the untuned model, asked zero-shot, with its decision fine-tunes and its reranker fine-tunes, two of which we train ourselves. In our work, we draw the conclusion that decision fine-tuning never makes the better reranker. From 0.6B to 9B, reranker fine-tuning wins on every backbone by 5 to 29 points nDCG@10, also on zero-shot collections, and at 27B the two tie. Up to 9B, decision fine-tuning adds nothing over simply asking the untuned model. Moreover, we find that the calibration advantage of decision models depends on the question. Asked whether a passage answers the query, they are better calibrated than the published reranker fine-tunes from 4B on. Asked a slightly different question from prior work, they lose this advantage. Lastly, calibration does not make up for a worse ranking: up to 9B, a reranker fine-tune keeps the better passages at a fixed threshold. If you need a reranker, fine-tune a reranker.
- Abstract（参考訳）: System Oneモデルまたは決定モデルでは、生成されたテキストの代わりにキャリブレーションされた確率で入力に関する質問に答える。
最初のリリースから数週間以内に、2026年9月にリランカーとして使用された。
決定の微調整が、同じモデルの平易な再帰的な微調整よりも良いリランカになるかどうかを検証する。
6個のQwenバックボーンを0.6Bから27Bパラメータと10個のTREC DLおよびBEIRコレクションで比較し、ゼロショットのモデルと比較した。
私たちの研究では、意思決定の微調整は決してより良いリランカーを作らないという結論を導きます。
0.6Bから9Bまで、リランカーの微調整は各バックボーンに5点から29点のnDCG@10で勝利し、ゼロショットコレクションにも勝利し、27Bでは2つのタイが勝利した。
最大9Bまで、意思決定の微調整は、単に修正されていないモデルに尋ねる以上のものを追加します。
さらに, 決定モデルのキャリブレーションの優位性は, 問題に依存することがわかった。
パスがクエリに応答するかどうかを尋ねると、4Bから発行されたリランカーの微調整よりもキャリブレーションがよい。
以前の仕事と少し違う質問をすると、彼らはこの利点を失いました。
最後に、キャリブレーションは、格付けが悪くならない:9Bまで、リランカーのファインチューンは、より良いパスを一定の閾値で保持する。
再ランカが必要な場合は、再ランカを微調整する。
関連論文リスト
- Multimodal Reranking Is a System One Decision [8.720698253117837]
システム1の決定により、一般的なVLMはマルチモーダル・リランカとして機能することができると論じる。
この選択により、ゼロショットのQwen3.8-27Bは3つのベンチマークで監督されたQwen3-VL-Reranker-2Bを上回った。
JEV-27B-VLはテキスト決定のみにチューニングされた同じバックボーンであり、ページのランク付けを0.6から1.1ポイント改善している。
論文 参考訳（メタデータ） (2026-10-20T16:00:45Z) - When the harness decides success: state that cannot be re-observed [0.0]
コンテキストウィンドウの切り換えには、必要な事実を再度見直すことができれば、低コストの推論モデルが成功しないということが示される。
また,標準ハーネスのノートを取る招待状を維持しながら,古い曲がり角を落とさずに要約し,63点差の86%を復元し,モデルの推論を再現することを示した。
論文 参考訳（メタデータ） (2026-10-19T15:59:13Z) - What Does a Harness Repair? A Preregistered Study of Visibility, Baseline Adequacy and Evaluation Defects [17.521700896129115]
3つの小さなモデル、3つのベンチマーク、3つのレプリケーションとテストのパーティション、GEPA検索アーム、6つの評価欠陥が一度に1つずつ注入された結果が得られた。
9つのモデルベンチマークセルのうち5つで、キャップ付き思考設定をオフにすると精度が上がり、それぞれが、キャップ付き思考設定が読めない質問から得られる。
論文 参考訳（メタデータ） (2026-10-04T20:56:07Z) - Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge [63.752287291668786]
テスト時間計算のスケールは、言語モデル推論を改善する強力な方法である。
自己閉じ込めは、既に現在の状態から到達可能な解に確率質量を大半を凝縮することを示す。
選択的なクエリフレームワークであるFlyByを導入し、まず4Bと8Bの変種をトレーニングする。
論文 参考訳（メタデータ） (2026-09-28T05:07:24Z) - Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks [0.0]
複数選択のベンチマークは、モデルが正しい選択肢を選ぶかどうか、質問が必要なかどうかで評価される。
UA-JudgeExam: 11,990件の4つのオプション項目を公式キーで測定し、ウクライナの高等審査委員会(Higher Qualification Commission of Judges)が公表した。
11.8%のアイテムは、偶然に予想される0.2項目に対して、8つのオプションのすべてで盲目で答えられる。
論文 参考訳（メタデータ） (2026-08-15T22:11:00Z) - Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B [0.0]
言語モデルプランの作成、独自の回答の批判と書き直し、ミスの反映、いくつかの試みのベストの選択、あるいは自分自身のコピーで議論する方法は、ほとんどすべてが、単一の思考の連鎖よりもはるかに多くのテキストを生成する。
より多くのテキストを生成すると、それ自身で精度が上がるので、ある思考の連鎖の利得は、その方法のアイデアを示さない。
論文 参考訳（メタデータ） (2026-07-30T17:38:23Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Knowing the Answer Isn't Enough: Fixing Reasoning Path Failures in LVLMs [85.37131922131657]
我々はLVLM(Large Vision-Language Models)の重大な欠陥を明らかにした。
これらのモデルが正しい答えを知っていても、誤った推論経路を通じて頻繁にそこに到達します。
PSO(Path-Select Optimization)は,既存のLVLMの推論性能と安定性を両立させる2段階のポストトレーニングフレームワークである。
論文 参考訳（メタデータ） (2025-12-06T03:02:55Z) - Just Say What You Want: Only-prompting Self-rewarding Online Preference Optimization [64.34767799614328]
現在の自己回帰アプローチは、差別者の判断能力に大きく依存している。
本稿では,判断能力に頼らずに嗜好データセットを生成する,新たな自己回帰型オンラインアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-26T04:41:08Z) - Zephyr: Direct Distillation of LM Alignment [59.03530095974505]
ユーザ意図に合わせた,より小さな言語モデルの実現を目指しています。
従来の研究では、より大規模なモデルに教師付き微調整(dSFT)を適用することにより、タスクの精度が大幅に向上することが示されている。
蒸留直接選好最適化(dDPO)を用いて,意図のアライメントを大幅に改善したチャットモデルを学習する。
論文 参考訳（メタデータ） (2023-10-25T19:25:16Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。