論文の概要: The Best Second Opinion Is Right Where the Primary Is Wrong: Partner Selection for Selective Span Tagging
- arxiv url: http://arxiv.org/abs/2610.37678v1
- Date: Mon, 12 Oct 2026 03:01:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 06:06:26.158721
- Title: The Best Second Opinion Is Right Where the Primary Is Wrong: Partner Selection for Selective Span Tagging
- Title(参考訳): ベストセカンダリ・オピニオンは「プライマリ」:選択したスパン・タッグのパートナー選び
- Abstract要約: リスクによってアウトプットをランク付けするスパンタグは、最もリスクの高いタグを人物に延期することができ、第2モデルは、このランク付けを研ぐことができる。
8つのタグ付けタイプ、3つのシード、3つのイングリッシュベンチマークで、プライマリのエラーのホールドアウト精度でパートナーを選択すると、最高のパートナーの利益の82%が回復する。
LoRAでチューニングされたデコーダでは、独立して訓練されたパートナが、プライマリネットワークのすべてのリードアウトを破ります。
- 参考スコア(独自算出の注目度): 0.11280931253550518
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A span tagger that ranks its outputs by risk can defer the riskiest ones to a person, and a second model can sharpen this ranking. Which second model should it be? Partner selection is conditional, not global: the best second opinion is the model that is right where the primary is wrong. Across eight tagger types, three seeds and three English benchmarks (576 evaluated primary-partner pairings), choosing the partner by held-out accuracy on the primary's errors recovers 82% of the best partner's gain, against 69-70% for span F1 or a random pick. Frozen before a fourth dataset was chosen, the rule replicated there (Spearman 0.40 vs. 0.04 for span F1). Partner value is also directional. The predictive distribution is the second opinion: hard labels discard half of a partner's value, and scoring the served label improves 94% of pairings. Fixed before the fourth dataset was chosen, this score also replicated there. For LoRA-tuned decoders, independently trained partners beat every readout of the primary network. Applied zero-shot to 51 MASSIVE locales, every primary has a helpful trained partner in every locale, and the preferred partner follows competence.
- Abstract(参考訳): リスクによってアウトプットをランク付けするスパンタグは、最もリスクの高いタグを人物に延期することができ、第2モデルは、このランク付けを研ぐことができる。
どちらの第2モデルになるべきか?
パートナーの選択は条件付きであり、グローバルではない。
8種類のタグ付けタイプ、3つのシード、3つのイングリッシュベンチマーク(576評価プライマリパートナーペア)で、プライマリのエラーのホールドアウト精度でパートナーを選択すると、F1の69-70%、ランダムピックの82%がベストパートナーの利益を回復する。
4番目のデータセットが選択される前に凍結され、規則はそこで複製された(Spearman 0.40 vs. 0.04 for span F1)。
パートナー値も方向性です。
硬いラベルはパートナーの価値の半分を放棄し、提供されたラベルのスコアはペアリングの94%を改善する。
4番目のデータセットが選択される前に修正され、このスコアもそこで複製された。
LoRAでチューニングされたデコーダでは、独立して訓練されたパートナが、プライマリネットワークのすべてのリードアウトを破ります。
ゼロショットを51のMASSIVEローカライズに応用し、すべてのプライマリはすべてのローカライズでトレーニングされたパートナを持ち、望ましいパートナはコンピテンスに従う。
関連論文リスト
- Measure Before You Train: Typed Decision Models vs. a Classical Baseline vs. a Generative LLM for Routing a Personal Multilingual Inbox [0.0]
個人メールエージェントは、メッセージごとに、それが何であるか、緊急かどうか、返信の起草、タスクの作成、無視かを判断する。
本稿では、セルフホスト型の個人用受信箱エージェントであるFoyerについて紹介する。
論文 参考訳(メタデータ) (2026-10-23T17:49:43Z) - Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳(メタデータ) (2026-10-13T16:19:49Z) - Target-Checked Reliability Score Refinement for Video Question Answering [3.8271803328378677]
モデルの再トレーニングや回答の変更を伴わずに、目標シフトの下で回答レベルの信頼性スコアを改善できるかどうかを検討する。
3つの固定されたビデオ言語モデルから、4つの決定論的ビデオサンプリングに基づいてオプション確率リストを収集する。
選択した回答に割り当てられた確率として定義される原点スコアと,開発データセットに基づいて学習したヒストグラムに基づく勾配ボスティング(HGB)スコアを比較した。
候補は、ビデオレベルの繰り返しチェックがポジティブで安定した改善を示す場合にのみ、元のスコアを置き換える。
論文 参考訳(メタデータ) (2026-09-09T08:29:00Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳(メタデータ) (2026-08-17T09:50:52Z) - Learning When to Trust via Selective Context Preference Optimization [34.54211638111961]
言語モデルは次第に外部の信号に答えを条件付けている。
誤解を招く人は正しい答えを間違えることがある。
私たちはその問題を選択的信頼と再考した。
論文 参考訳(メタデータ) (2026-08-06T17:59:58Z) - Floor, Ceiling, and the Fusion Gap: How Much of Crowd Reading Attention Can Machines Predict? [1.8620637029128544]
ベンチマークスコアは、自明なメソッドが何を達成し、最良のメソッドが何を達成できるかを知らなければ何の意味も持たない。
読者の群集が、それぞれの目的、無給、無命令、盲目などのために、120のWebドキュメントでマークされている文を予測します。
論文 参考訳(メタデータ) (2026-08-03T05:09:49Z) - Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions [80.33276868889341]
Z-Rewardは効率的な報酬展開から推論と重大な判断を分離する。
Z-Reward はテキスト・画像の最適化のための識別可能な報酬信号として機能することを示す。
論文 参考訳(メタデータ) (2026-06-08T06:20:12Z) - When LLM Judge Scores Look Good but Best-of-N Decisions Fail [0.29465623430708904]
大規模言語モデルは、しばしば審査員が候補の応答を採点し、単一のグローバルメトリックで検証するために使用される。
プロンプト内で実際のデプロイメントタスクが最良選択である場合、これは誤解を招く可能性がある。
審査に基づく選択においては、関連する監査は、グローバルな合意だけでは無く、インイン・プロンプト信号、タイレート、リカバリ/トップ-1の精度を報告すべきである。
論文 参考訳(メタデータ) (2026-03-12T23:40:03Z) - MapReduce LoRA: Advancing the Pareto Front in Multi-Preference Optimization for Generative Models [52.32146943039743]
人間のフィードバックからの強化学習は、生成モデルと人間の美学と知覚的嗜好を高度に一致させる。
MapReduce LoRA と Reward-aware Token Embedding (RaTE) の2つの補完手法を紹介する。
我々のフレームワークは、モダリティにまたがる新しい最先端のマルチ参照アライメントのレシピを定めている。
論文 参考訳(メタデータ) (2025-11-25T18:49:21Z) - Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。
異なるデータ条件に合わせた2つの学習方法を提案する。
この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
論文 参考訳(メタデータ) (2025-09-30T20:36:41Z) - Anyprefer: An Agentic Framework for Preference Data Synthesis [62.3856754548222]
ターゲットモデルを調整するための高品質な嗜好データを合成するフレームワークであるAnypreferを提案する。
審査員モデルの応答を正確に評価するために、外部ツールが導入される。
合成されたデータは、58Kの高品質な選好ペアからなる新しい選好データセットであるAnyprefer-V1にコンパイルされる。
論文 参考訳(メタデータ) (2025-04-27T15:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。