論文の概要: Preference Is Not Position: Evaluating Reranking on NevIR in Fixed Hybrid Candidate Pools

• arxiv url: http://arxiv.org/abs/2610.26260v1
• Date: Mon, 19 Oct 2026 12:16:58 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:31:55.539625
• Title: Preference Is Not Position: Evaluating Reranking on NevIR in Fixed Hybrid Candidate Pools
• Title（参考訳）: 選好は位置ではない:固定型ハイブリッドプールにおけるNevIRの再評価
• Abstract要約: ほぼ同一の通路は否定のような決定的な条件で異なることがある。 我々はこの区別を,密集した学習スパースから固定候補プールを被覆した公式なNevIRペアとBM25検索を用いて検討した。
• 参考スコア（独自算出の注目度）: 4.087496677340278
• License:
• Abstract: Near-identical passages can differ in a decisive condition, such as negation. A ranker may order such a pair correctly while placing the preferred passage far down the retrieved list. We examine this distinction using official NevIR pairs jointly covered by fixed candidate pools from dense, learned sparse, and BM25 retrieval. On 2,736 Test query directions, a pairwise-trained ranker improves strict per-query preference over fixed fusion (56.62% versus 52.30%) while reducing preferred-passage mean reciprocal rank (MRR) from 0.5764 to 0.3055. An exploratory fixed-model replay of a variant with background sampling and revised supervision yields MRR of 0.5859 and strict preference of 54.53%. Bounded pointwise reranking of the fusion top 20 improves both outcomes. Qwen3-14B-AWQ with fusion tie-breaking reaches 77.45% strict preference, 58.99% NevIR-style paired accuracy across 1,363 complete pairs, and preferred-passage MRR of 0.7509. A BGE cross-encoder reaches 69.77% strict preference and MRR of 0.7404. A post-hoc analysis finds that the branch where equal Qwen grades for the two designated passages trigger fusion tie-breaking accounts for 27% of evaluated directions and contains most remaining strict-preference failures. These findings support joint evaluation of pairwise preference, designated-passage position, and computational cost, while distinguishing model judgments from the combined ranking procedure.
• Abstract（参考訳）: ほぼ同一の通路は否定のような決定的な条件で異なることがある。 ランク付け者は、好まれるパスを検索されたリストのずっと下に置きながら、そのようなペアを正しく注文することができる。 我々はこの区別を,密集した学習スパースから固定候補プールを被覆した公式なNevIRペアとBM25検索を用いて検討した。 2.736のテストクエリ方向では、ペアワイズトレーニングされたローダが固定核融合(56.62%対52.30%)よりも厳格なクエリごとの嗜好を改善すると同時に、優先パス平均相反ランク(MRR)を0.5764から0.3055に下げる。 バックグラウンドサンプリングと改訂された監督を含む変種を探索的に固定したモデルで再現すると、MRRは0.5859、厳格な選好は54.53%となる。 融合トップ20のバウンドポイントワイドリランクは、両方の結果を改善する。 Qwen3-14B-AWQが77.45%の厳格な選好、58.99%のNevIRスタイルのペアの精度が1,363個の完全対で、優先パスMRRは0.7509である。 BGEクロスエンコーダは69.77%の厳格な選好に達し、MRRは0.7404である。 ポストホック分析では、2つの指定された通路で同等のQwenグレードを持つ分岐が、評価方向の27%の融合結合破壊を誘導し、ほとんどの厳格な参照障害を含むことがわかった。 これらの知見は, 組合せ選好, 指定パス位置, 計算コストの連立評価を支援するとともに, モデル判断と組み合わせたランキング手順を区別する。

関連論文リスト

• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• Unmatched Does Not Mean False: Incomplete Reference Sets Can Reverse Calibration Rankings in Open-Ended Theory-of-Mind Tracking [0.5735035463793009]
  Open-ended Theory-of-Mind (ToM) トラッカーは有限参照を欠く有効な信念を出力する。 有限参照+マーチャントパイプラインは、不正な出力をマークし、適切なスコアモデル選択をリバース可能なプロキシラベルを生成する。
  論文  参考訳（メタデータ） (2026-08-26T11:36:31Z)
• RAPID: Reliability-Aware Pair Importance Distillation [2.5565719921628443]
  RAPID(Reliability Aware Pair Importance Distillation)は、信頼性の高いゲート付きリレーショナルターゲットと完全なサポート適応ペアの提案を分離する。 信頼性は教師関係が重視されるかを決定するが、校正された教師エントロピーと分離された生徒-教師残差はどの関係が評価されるかを決定する。
  論文  参考訳（メタデータ） (2026-08-23T09:29:50Z)
• What Confidence Routing Is Actually Doing: Auditing Routing, Calibration, and Commitment in Multi-Agent Deliberation [2.6977334313650565]
  マルチエージェント設計では、エージェントに対して信頼性を報告し、最高のエージェントが次に話すように要求する。 トラヒックレベルの3つの質問を分離することにより、信頼性が低下した放送プロトコルを監査する。
  論文  参考訳（メタデータ） (2026-08-18T21:39:27Z)
• TrustRoboReward: Preference-Ordered Isotonic Score Editing for Multi-Paradigm Robot Reward Models [40.42873860258522]
  優先順序等調スコア編集(POISE)を備えたマルチパラダイム報酬モデリングフレームワークであるTrustRoboRewardを提案する。 POISEはポイントワイズスコアを修正し、TrustJudgeが未解決のクロスパラダイム逆転競合を取り除く。 POISEでトレーニングされたQwen3-VL-4Bは、全体的な報酬スコアが77.96%に達し、GPT-5-mini(78.09%、ギャップ0.13%)とほぼ一致し、最強のRoboReward-4Bベースラインを10.13%上回った。
  論文  参考訳（メタデータ） (2026-08-09T05:25:22Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Relational Preference Encoding in Looped Transformer Internal States [0.0]
  ループ変換器は内部の反復状態においてどのように人間の嗜好を符号化するかを検討する。 繰り返し洗練された2.6Bパラメータループ変換器であるOuro-2.6B-Thinkingを用いて,各ループ繰り返しから隠れた状態を抽出する。 我々は、HH-RLHFデータセット上で人間の嗜好を予測するために軽量評価器ヘッドを訓練する。 我々のペアワイズ評価器は8,552個の未確認例に対して95.2%の精度を達成し、ベースモデルは完全に凍結されている間に全バッチのL-BFGSプローブ(84.5%)を上回った。
  論文  参考訳（メタデータ） (2026-04-10T20:00:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。