論文の概要: Multi-Dimensional Comparative Scale Construction for Efficient Personalized Subjective Judgment in High-Traffic Applications
- arxiv url: http://arxiv.org/abs/2609.33282v1
- Date: Sun, 27 Sep 2026 06:39:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 01:32:28.476172
- Title: Multi-Dimensional Comparative Scale Construction for Efficient Personalized Subjective Judgment in High-Traffic Applications
- Title(参考訳): 高精度な個人化主観的判断のための多次元比較尺度の構築
- Abstract要約: 多次元スケール構築のためのペアワイズ比較フレームワークを提案する。
スケール構築には、スパースエロ比較とマルチジャッジ投票を組み合わせる。
本稿では,パーソナライズされたスコアリングのためのシステム1モデルであるSubJudgeを提案する。
- 参考スコア(独自算出の注目度): 44.9524556452034
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Subjective judgments are central to many high-traffic applications, but subjective intensity is difficult to quantify and perceptions vary substantially across individuals. To address these challenges, we propose a pairwise comparative framework for multi-dimensional scale construction. By comparing case-person pairs along case and profile dimensions, the framework constructs relative scales that capture both fine-grained intensity and individual variation. To support practical high-traffic deployment, we optimize both offline scale construction and online inference. For scale construction, we combine sparse Elo comparisons with multi-judge voting, cutting the comparison cost from $O(N^2)$ to $O(NK)$ for $N$ objects and a budget of $K$ opponents per object, while limiting reliance on any single judge. For inference, we propose SubJudge, a System One model for personalized scoring with Batchwise Preference Optimization (BPO). Using Bradley-Terry comparisons, BPO trains the model to learn relative orderings, and SubJudge reads a continuous score from digit-token probabilities at the first response position, requiring only one forward pass per criterion and reducing the inference complexity to $O(1)$. Experiments on PluriHarms and iNews show that our 9B models match or surpass the evaluated frontier LLMs on multiple metrics. On the H100 GPU, SubJudge achieves an approximately $1.29\times$ to $261\times$ speedup in mean inference latency over Qwen3.5-9B with different thinking budgets. The code is available at https://github.com/Longchentong/SubJudge.
- Abstract(参考訳): 主観的判断は多くの高いトラフィックな応用の中心であるが、主観的強度の定量化は困難であり、個人間で知覚は著しく異なる。
これらの課題に対処するために、多次元スケール構築のためのペアワイズ比較フレームワークを提案する。
ケースパーソン対をケース次元とプロファイル次元で比較することにより、フレームワークは、きめ細かい強度と個人差の両方をキャプチャする相対スケールを構成する。
オフラインスケール構築とオンライン推論の両方を最適化する。
スケール構築のために、スパースElo比較とマルチジャッジ投票を組み合わせることで、比較コストを$O(N^2)$から$O(NK)$に削減し、オブジェクトごとに$N$と$K$の予算を設定できます。
本稿では,Batchwise Preference Optimization (BPO) を用いたパーソナライズ・スコアリングのためのシステム1モデルであるSubJudgeを提案する。
ブラッドリー・テリー比較を用いて、BPOは相対順序を学習するためにモデルを訓練し、サブジャッジは、第1応答位置における桁トーケン確率からの連続的なスコアを読み、基準あたりのフォワードパスを1つだけ必要とし、推論の複雑さを$O(1)$に減らした。
PluriHarmsとiNewsの実験では、我々の9Bモデルは複数のメトリクスで評価されたフロンティアLCMと一致するか、超えている。
H100 GPUでは、SubJudgeは約1.29\times$から261\times$のスピードアップを実現している。
コードはhttps://github.com/Longchentong/SubJudgeで公開されている。
関連論文リスト
- SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。
SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。
また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
論文 参考訳(メタデータ) (2026-08-05T17:51:25Z) - Surprise-Guided MergeSort: Budget-Efficient Human-in-the-Loop Ranking via Adaptive Comparison Scheduling [0.5861893391102716]
人間の判断を真に必要とする比較を識別する枠組みを提案する。
textbfSurprise-Guided MergeSort (SGS)フレームワークは、これを3つの統合コンポーネントで実現している。
テキスト類似性(STS-B, BIOSSES, SICKR-STS)と画像品質評価(KonIQ-10k, TID2013, LIVE Challenge)の6つの多様なベンチマークで検証を行った。
論文 参考訳(メタデータ) (2026-06-14T06:11:42Z) - Scaling Laws for Behavioral Foundation Models over User Event Sequences [2.924581427482972]
本稿では、共通の2部分の振る舞いモデルアーキテクチャ、特徴ベースのイベント埋め込み、デコーダのみの変換器について検討する。
約600回にわたって、実際のインタラクションデータで動作し、トレーニング用FLOPは1015ドルから1019ドルの範囲で、デプロイ関連軸が4つあります。
計算最適トレーニングは低計算時のテキストと比較してデータ量が多いが、計算量が増加するにつれて、そのD/N$比はチンチラに向かう。
論文 参考訳(メタデータ) (2026-06-03T15:59:25Z) - Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。
K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。
EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文 参考訳(メタデータ) (2026-05-22T08:26:08Z) - Tuning LLM Judge Design Decisions for 1/1000 of the Cost [42.06346155380305]
大きな言語モデル(LLM)は、しばしば人為的なアノテーションを必要とする。
この問題に対処するため、2つのLLMの出力を比較するLLMベースの審査員が提案されている。
いくつかのアプローチが提案されているが、異なる論文の間には多くの相反する要因が存在する。
論文 参考訳(メタデータ) (2025-01-24T17:01:14Z) - Combinatorial Stochastic-Greedy Bandit [79.1700188160944]
我々は,選択した$n$のアームセットのジョイント報酬以外の余分な情報が観測されない場合に,マルチアームのバンディット問題に対する新規グリーディ・バンディット(SGB)アルゴリズムを提案する。
SGBは最適化された拡張型コミットアプローチを採用しており、ベースアームの大きなセットを持つシナリオ用に特別に設計されている。
論文 参考訳(メタデータ) (2023-12-13T11:08:25Z) - On Optimal Caching and Model Multiplexing for Large Model Inference [66.50550915522551]
大きな言語モデル(LLM)や他の大きな基盤モデルは注目すべき成功を収めているが、そのサイズは既存のリソース消費とレイテンシーの問題を悪化させている。
キャッシュを用いて以前のクエリを格納し、モデルの多重化を学習し、クエリ処理のためのモデルの集合から選択する。
論文 参考訳(メタデータ) (2023-06-03T05:01:51Z) - Pure Exploration with Structured Preference Feedback [25.894827160719526]
我々は、機能付きN$アームを含むサブセットワイドな選好フィードバックによる純粋探索の問題を考察する。
我々は,$tildeo (fracd2k delta2)$サンプル中の最良アームの検出を少なくとも1.99ドルで保証する2つのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-04-12T08:57:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。