論文の概要: Predicting What Answer Engines Cite: Open Decision Models, Rerankers and a Distilled 4B Student on Ten Engines under Controlled Retrieval
- arxiv url: http://arxiv.org/abs/2610.38090v1
- Date: Wed, 28 Oct 2026 00:11:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:09.930904
- Title: Predicting What Answer Engines Cite: Open Decision Models, Rerankers and a Distilled 4B Student on Ten Engines under Controlled Retrieval
- Title(参考訳): 解答エンジンが求めるものを予測する: 解答モデル, 解答者, 解答者, 解答者による10基のエンジンに関する4Bの学生
- Abstract要約: 生成エンジンの最適化には、引用として受け取る回答のシェアによって候補ページをランク付けするスコアが必要である。
我々は、事前訓練されたリランカ、ホスト型決定モデル(Jev)、8つのオープンな決定モデル、GEO-Benchクエリで学生を蒸留した。
Jevと2つのオープン27B決定モデルがトレーニングなしで使用され、0.575から0.578で最強のスコアを獲得した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative engine optimization needs a scorer that ranks candidate pages by the share of an answer they will receive as citations. We measure pretrained rerankers, a hosted typed decision model (Jev), eight open decision models and distilled students on GEO-Bench queries answered by ten engines that receive the same candidate sources in their prompt. Where several engines answer the same query, they agree with one another at a within-group Spearman correlation of 0.704. Jev and two open 27B decision models, used without training, are the strongest scorers at 0.575 to 0.578. A Qwen3-Reranker-4B fine-tuned with low-rank adapters on teacher labels for other GEO-Bench queries, released as GEO Citation Ranker 4B, reaches 0.542 to 0.549 across three seeds, and its differences with the 27B models and with Jev are not distinguishable from zero on 229 queries. Most of the remaining distance between the student and Jev disappears when Jev scores one passage at a time, as the student does. Students trained on teacher labels and on observed engine citations reach the same level, and labels from Jev alone match the two-teacher target at 0.6B. We release the model, the benchmark, the predictions of every reported scorer and the code.
- Abstract(参考訳): 生成エンジンの最適化には、引用として受け取る回答のシェアによって候補ページをランク付けするスコアが必要である。
我々は、事前訓練されたリランカ、ホスト型決定モデル(Jev)、8つのオープン決定モデル、GEO-Benchクエリの蒸留された学生を10のエンジンで測定し、そのプロンプトで同じ候補ソースを受信する。
複数のエンジンが同じクエリに答える場合、彼らはグループ内のスピアマン相関の0.704で互いに一致する。
Jevと2つのオープン27B決定モデルがトレーニングなしで使用され、0.575から0.578で最強のスコアを獲得した。
Qwen3-Reranker-4Bは、GEO Citation Ranker 4Bとしてリリースされた他のGEO-Benchクエリの教師ラベルに低ランクのアダプタで微調整され、3つのシードで0.542から0.549まで到達し、27BモデルとJevとの差は229のクエリでは0と区別できない。
学生とJevの間の残りの距離のほとんどは、Jevが1回に1回ずつ得点した時に消える。
教師のラベルと観察されたエンジンの引用で訓練された学生は同じレベルに達し、Jevのラベルは2人の教師の目標である0.6Bと一致している。
私たちは、モデル、ベンチマーク、報告されたすべてのスコアとコードの予測をリリースします。
関連論文リスト
- RetiJev: Fast and Source-Grounded Ophthalmic Decision Models [49.18315352624845]
自己回帰型大規模言語モデル(LLM)は、事前に定義されたアクション間の決定にかなりのレイテンシと計算オーバーヘッドをもたらす。
RetiJev-Dataは,78,158個の臨床診断と診断質問からなる眼科原点検コーパスである。
RetiJev は 0.8B-9B 決定モデルのファミリーで, 自己回帰的復号化を伴わず, 直接解を求める。
論文 参考訳(メタデータ) (2026-10-22T08:59:47Z) - Decision4Rec: A Jev-Inspired Framework of Decision Models on Knowledge and Active Graphs for Multi-Agent Recommender Systems [2.3798745499991663]
Decision4Recはオープンでモジュール化されたフレームワークで、意思決定モデルを推奨に役立てます。
エージェントのプールは候補者を提案し、残りランキングはベスト30を維持します。
3つのシナリオの実際の選択に基づいて一度トレーニングされた決定モデルは、型付き質問の1つのインターフェースを通してそれらを読み取り、融合ステップはその回答とランクのスコアを結合する。
論文 参考訳(メタデータ) (2026-10-19T08:56:56Z) - Jev-ToM: Evaluating Theory of Mind in Typed Decision Models [14.057161755768218]
型付き決定モデルは、有界心の理論(ToM)選択のための生成的大言語モデルの潜在的な代替を提供する。
1117の英語テキスト質問に対して,5つの型付き決定モデルと7つの生成ベースラインを比較し,Jev-ToMを提案する。
論文 参考訳(メタデータ) (2026-10-13T15:59:00Z) - HakemBench: A Turkish Benchmark of Typed Decisions [0.0]
HakemBenchは、テスト対象のモデルがテキスト、質問、固定されたオプションセットを読み取って、すべてのオプションの確率を返す型決定のベンチマークである。
バージョン1.0はCC BY 4.0で完全に公開されており、2,346の項目と4,275の選択肢、ye/no、スコアの7つのトラックがある。
論文 参考訳(メタデータ) (2026-10-01T16:55:18Z) - A First Glance at Jev for Network Traffic Classification: Accuracy, Processing Time, and Cost [0.19336815376402716]
我々は,CESNET-QUICEXT-25における10のデータセット定義アプリケーションラベル上でJevを評価した。
40の固定ラベル付き例は、Jevの精度を9.80%から28.42%に引き上げている。
ペア化された100レコードサブセットでは、40のサンプルを持つJevが、中央値の要求時間0.750秒で29%の精度を達成しているのに対して、生成言語モデルOpenAI GPT-5.6では37%と6.036秒の精度で、Azureによる高い推論の努力を払っている。
論文 参考訳(メタデータ) (2026-09-30T08:21:44Z) - Benchmarking System One decision models against trained classifiers and language models for automated decision gates [1.089614199781423]
1つのハーネスは6つのファミリーから8つの決定モデルチェックポイントを送信する。
タスクラベルでは、細調整されたDeBERTa-v3-largeが最も精度が高い。
その結果、自動決定ゲートの条件依存ルールが得られる。
論文 参考訳(メタデータ) (2026-09-29T19:57:59Z) - OPOD: On-Policy Omni Distillation [55.440058537827134]
プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。
本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。
OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
論文 参考訳(メタデータ) (2026-07-23T04:55:04Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳(メタデータ) (2026-06-02T13:41:43Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳(メタデータ) (2026-06-01T04:43:36Z) - Visual Aesthetic Benchmark: Can Frontier Models Judge Beauty? [59.923111838399144]
本稿では,視覚的審美性ベンチマーク (VAB) を提案する。
VABには400のタスクと1,195のイメージが芸術、写真、イラストに含まれており、ラベルはタスクごとに10人の独立した専門家審査員のコンセンサスから導かれる。
最強のシステムは、人間の専門家が達成した68.9%よりもはるかに低い26.5%のタスクで、候補順の3つのランダムな順で、最良の画像と最悪の画像の両方を正しく識別する。
論文 参考訳(メタデータ) (2026-05-12T19:33:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。