論文の概要: SEEK: Skill-Routed Evaluation with Evolvable Knowledge for Industrial Search

• arxiv url: http://arxiv.org/abs/2609.29803v1
• Date: Thu, 24 Sep 2026 13:39:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.957749
• Title: SEEK: Skill-Routed Evaluation with Evolvable Knowledge for Industrial Search
• Title（参考訳）: SEEK: 産業検索のための進化可能な知識による技能評価
• Abstract要約: 進化可能な知識を用いたスキルロート評価(SEEK)を提案する。 SEEKは、特定の検索評価基準をスキルバンクに外部化し、タスク適応リストワイズ評価器を用いてページレベルの判断とフェールモード属性を生成する。 SEEKは、毎日4億人以上のアクティブユーザーがいるショートビデオプラットフォームであるKuaishouで展開されている。
• 参考スコア（独自算出の注目度）: 9.6936149336944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Search quality evaluation provides essential supervision and diagnostic signals for the development and iteration of industrial search systems. Although large language models (LLMs) offer a scalable alternative to manual assessment, reliable automatic evaluation remains challenging: users experience search results at the page level, while the applicable evaluation criteria are multi-dimensional and continuously evolving. Packing all evaluation criteria into a unified prompt introduces irrelevant context and potential criterion interference, whereas internalizing them through post-training tightly couples rule updates with costly model retraining cycles. To address these issues, we propose Skill-routed Evaluation with Evolvable Knowledge (SEEK). Specifically, SEEK externalizes specific search evaluation criteria into a skill bank, dynamically routes relevant skills for each query-result list pair, and employs a task-adapted listwise evaluator to produce page-level judgments and failure mode attribution. A two-stage training pipeline teaches the evaluator to align evaluation criteria with human preferences, while a replay-gated skill bank allows recurring evaluation knowledge gaps to be incorporated without model retraining. Experiments on industrial short-video search show that SEEK improves listwise quality evaluation accuracy and achieves significant progress in attribution diagnosis. SEEK has been deployed at Kuaishou, a short-video platform with over 400 million daily active users, significantly improving the scale and quality of online search evaluation.
• Abstract（参考訳）: 検索品質評価は,産業用サーチシステムの開発とイテレーションに不可欠な監視および診断信号を提供する。 大規模言語モデル(LLM)は手動による評価に代わるスケーラブルな代替手段を提供するが、信頼性の高い自動評価は依然として困難であり、ユーザーはページレベルで検索結果を体験するが、適用可能な評価基準は多次元かつ連続的に進化する。 すべての評価基準を統一的なプロンプトに組み込むことは、無関係な文脈と潜在的な基準的干渉を導入し、一方、厳密に訓練されたカップルルールの更新とコストのかかるモデル再訓練サイクルによってそれらを内部化する。 これらの課題に対処するため,SEEK(Skill-routed Evaluation with Evolvable Knowledge)を提案する。 具体的には、SEEKは、特定の検索評価基準をスキルバンクに外部化し、クエリーリストペアごとに関連スキルを動的にルーティングし、タスク適応リストワイズ評価器を用いてページレベルの判断と障害モード属性を生成する。 2段階の訓練パイプラインは、評価基準を人間の嗜好と整合させるように評価器に教える一方、リプレイゲートスキルバンクは、モデルリトレーニングなしで繰り返し評価知識ギャップを組み込むことができる。 産業用短ビデオ検索実験の結果,SEEKは品質評価の精度を向上し,属性診断の大幅な進歩を達成している。 SEEKは、毎日4億人以上のアクティブユーザーがいる短いビデオプラットフォームであるKuaishouで展開され、オンライン検索評価の規模と品質を大幅に改善した。

関連論文リスト

• From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
  ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。 我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
  論文  参考訳（メタデータ） (2026-06-07T13:34:55Z)
• Deep Research, Shallow Evaluation: A Case Study in Meta-Evaluation for Long-Form QA Benchmarks [40.91183014128371]
  ScholarQA-CS2を用いた長期QAベンチマークのメタ評価のケーススタディを行う。 人間の選好判断を通じてベンチマークを検証し、このアプローチの強み、弱点、共同創設者を批判的に検証する。 提案手法では,一対の選好ランクがシステムレベルの評価に最適であるのに対して,明示的な計量レベルのアノテーションや専門家アノテータは信頼性の高い計量レベルの評価に不可欠であることを示す。
  論文  参考訳（メタデータ） (2026-03-06T23:30:27Z)
• Foundational Automatic Evaluators: Scaling Multi-Task Generative Evaluator Training for Reasoning-Centric Domains [97.5573252172065]
  自動推論評価器(FARE)のファミリーを,簡易な反復的リジェクションサンプリング制御による微調整手法で訓練する。 FARE-8Bはより大型のRL訓練評価器に挑戦し、FARE-20Bはオープンソース評価器の新しい標準となる。 推論時リランカとして、FARE-20BはMATH上でのニアオークル性能を達成する。
  論文  参考訳（メタデータ） (2025-10-20T17:52:06Z)
• AGACCI : Affiliated Grading Agents for Criteria-Centric Interface in Educational Coding Contexts [0.6050976240234864]
  本稿では,協調エージェント間で専門的な評価を分散するマルチエージェントシステムAGACCIを紹介する。 AGACCIは、ルーブリックとフィードバックの正確性、妥当性、一貫性、一貫性の点で、単一のGPTベースのベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-07-07T15:50:46Z)
• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• Evaluating Open-QA Evaluation [29.43815593419996]
  本研究では,大規模言語モデル(LLM)の事実を直接推定できるオープン質問回答(Open QA)タスクの評価に焦点をあてる。 オープンQA内の標準回答に関連するAI生成回答の精度を評価するために,新たなタスクであるQA評価(QA-Eval)とそれに対応するデータセットEVOUNAを導入する。
  論文  参考訳（メタデータ） (2023-05-21T10:40:55Z)
• Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach [40.06500618820166]
  本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。 本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
  論文  参考訳（メタデータ） (2022-09-07T10:09:12Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。