論文の概要: Advancing Relevance Measurement with Vision-Language Models for Web-Scale Search

• arxiv url: http://arxiv.org/abs/2608.02446v1
• Date: Mon, 03 Aug 2026 16:23:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.70444
• Title: Advancing Relevance Measurement with Vision-Language Models for Web-Scale Search
• Title（参考訳）: Webスケール検索のための視覚言語モデルによる適応的妥当性測定
• Abstract要約: 本稿では,オンラインA/B実験のためにPinterest Search内にデプロイされたVLMベースの自動妥当性評価パイプラインを提案する。 VLMによる判断と人間のアノテーションの一致を厳格に検証する。 このアプローチは、高品質な関連指標をもたらし、オンライン実験における最小検出効果(MDE)を著しく削減する。
• 参考スコア（独自算出の注目度）: 5.210111523135908
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Relevance evaluation plays a crucial role in personalized search systems, serving as a guardrail alongside user engagement metrics to ensure that search results align with user queries and intent. While human annotation is the traditional method for relevance evaluation, its high cost and long turnaround time limit its scalability. In this work, we present a VLM-based automated relevance evaluation pipeline deployed within Pinterest Search for online A/B experiments. We rigorously validate the alignment between VLM-generated judgments and human annotations, demonstrating that VLMs can provide reliable relevance measurement for experiments while greatly improving the evaluation efficiency. Leveraging VLM-based labeling further unlocks opportunities to expand the query set, optimize sampling design, and efficiently assess a wider range of search experiences at scale. This approach leads to higher-quality relevance metrics and significantly reduces the Minimum Detectable Effects (MDEs) in online experiment measurements.
• Abstract（参考訳）: 関連性評価はパーソナライズされた検索システムにおいて重要な役割を担い、検索結果がユーザクエリやインテントと一致することを保証するために、ユーザエンゲージメント指標と共にガードレールとして機能する。 人間のアノテーションは関連性評価の伝統的な方法であるが、その高いコストと長いターンアラウンドタイムはスケーラビリティを制限している。 本研究では,オンラインA/B実験のためにPinterest Search内にデプロイされたVLMベースの自動妥当性評価パイプラインを提案する。 我々は, VLM生成判定と人間のアノテーションとの整合性を厳格に検証し, 評価効率を大幅に向上させながら, VLMが実験に信頼性の高い妥当性測定を提供できることを示した。 VLMベースのラベリングを活用することで、クエリセットを拡張し、サンプリング設計を最適化し、大規模な検索エクスペリエンスの範囲を効率的に評価することが可能になる。 このアプローチは、高品質な関連指標をもたらし、オンライン実験における最小検出効果(MDE)を著しく削減する。

関連論文リスト

• WebDevJudge: Evaluating (M)LLMs as Critiques for Web Development Quality [62.43165871914528]
  我々は、Web開発におけるLCM-as-a-judgeのパフォーマンスを評価するための体系的なベンチマークであるWebDevJudgeを紹介する。 WebDevJudgeは、構造化およびクエリグラウンドのルーリックで注釈付けされた、ペア化されたWeb実装よりも人間の好みラベルで構成されている。 詳細な分析によると、このギャップは、機能的同値性認識の失敗、タスク実現可能性の検証、バイアス軽減など、基本的なモデル上の制限に由来する。
  論文  参考訳（メタデータ） (2025-10-21T12:16:04Z)
• Modernizing Facebook Scoped Search: Keyword and Embedding Hybrid Retrieval with LLM Evaluation [4.821105793289088]
  我々は、Facebook Group Scoped Searchの近代化されたフレームワークを紹介する。 従来のキーワードベース検索と埋め込み型検索を併用し,検索結果の検索関連性や多様性を向上させる。 その結果,混合検索システムはユーザエンゲージメントと検索品質を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-09-17T00:22:08Z)
• LLM-based Relevance Assessment for Web-Scale Search Evaluation at Pinterest [3.306725465028306]
  我々はPinterest Searchで、微調整LDMを用いたオンライン実験の妥当性評価を自動化する手法を提案する。 LLMによる判断と人間のアノテーションの一致を厳格に検証する。 このアプローチは、高品質な関連指標をもたらし、オンライン実験における最小検出効果(MDE)を著しく低減する。
  論文  参考訳（メタデータ） (2025-09-03T23:07:49Z)
• Exploring the Potential of LLMs for Serendipity Evaluation in Recommender Systems [10.227007419503297]
  大規模言語モデル(LLM)は、様々な人間のアノテーションタスクで評価手法に革命をもたらしている。 電子商取引および映画分野における実際のユーザ研究から得られた2つのデータセットのメタ評価を行う。 以上の結果から,最も単純なゼロショットLLMであっても,従来の測定値と同等あるいは超える性能が得られることが示唆された。
  論文  参考訳（メタデータ） (2025-07-23T07:51:56Z)
• Leveraging LLMs to Evaluate Usefulness of Document [25.976948104719746]
  本稿では,ユーザの検索コンテキストと行動データを大規模言語モデルに統合する,新たなユーザ中心評価フレームワークを提案する。 本研究は,文脈情報や行動情報に精通したLLMが有用性を正確に評価できることを実証する。 また,本手法で作成したラベルをユーザ満足度予測に適用し,実世界の実験により,これらのラベルが満足度予測モデルの性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-06-10T09:44:03Z)
• LLM-Driven Usefulness Judgment for Web Search Evaluation [12.10711284043516]
  情報検索(IR)における検索体験の最適化と多種多様なユーザ意図支援の基礎的評価 従来の検索評価手法は主に関連ラベルに依存しており、検索された文書がユーザのクエリとどのようにマッチするかを評価する。 本稿では,文書の有用性を評価するために,暗黙的かつ明示的なユーザ行動信号の両方を組み込んだLCM生成実用性ラベルを提案する。
  論文  参考訳（メタデータ） (2025-04-19T20:38:09Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
  大規模言語モデル(LLM)は、生成された自然言語の品質を評価するための自動評価器として有望な能力を示した。 LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。 Pairwise-preference Search (PAIRS) は、LLMを用いた不確実性誘導検索に基づくランクアグリゲーション手法で、局所的にペアワイズ比較を行い、グローバルに候補テキストを効率よくランク付けする。
  論文  参考訳（メタデータ） (2024-03-25T17:11:28Z)
• Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
  基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。 本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2024-03-21T10:31:11Z)
• Persona-DB: Efficient Large Language Model Personalization for Response Prediction with Collaborative Data Refinement [79.2400720115588]
  本稿では,タスクコンテキスト間の一般化を改善するための階層的な構築プロセスからなる,シンプルで効果的なフレームワークであるPersona-DBを紹介する。 応答予測の評価において,Persona-DB は精度を著しく低減した検索サイズで維持する上で,より優れたコンテキスト効率を示す。 我々の実験は、ユーザーが極めて少ないデータを持つ場合、コールドスタートシナリオで10%以上の顕著な改善が示されていることも示している。
  論文  参考訳（メタデータ） (2024-02-16T20:20:43Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。