論文の概要: Decision Quality Evaluation Framework at Pinterest
- arxiv url: http://arxiv.org/abs/2602.15809v1
- Date: Tue, 17 Feb 2026 18:45:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-18 16:03:18.165655
- Title: Decision Quality Evaluation Framework at Pinterest
- Title（参考訳）: Pinterestの意思決定品質評価フレームワーク
- Authors: Yuqi Tian, Robert Paine, Attila Dobi, Kevin O'Sullivan, Aravindh Manickavasagam, Faisal Farooq,
- Abstract要約: この枠組みは、課題専門専門家(SME)がキュレートした高信頼のゴールデンセット(GDS)を中心にしている。
データセットのカバレッジを効率的に拡張するために、確率スコアを用いたインテリジェントな自動サンプリングパイプラインを導入する。
このフレームワークは、主観的な評価から、コンテンツ安全システムを管理するためのデータ駆動的で定量的なプラクティスへの移行を可能にする。
- 参考スコア（独自算出の注目度）: 0.36944296923226316
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online platforms require robust systems to enforce content safety policies at scale. A critical component of these systems is the ability to evaluate the quality of moderation decisions made by both human agents and Large Language Models (LLMs). However, this evaluation is challenging due to the inherent trade-offs between cost, scale, and trustworthiness, along with the complexity of evolving policies. To address this, we present a comprehensive Decision Quality Evaluation Framework developed and deployed at Pinterest. The framework is centered on a high-trust Golden Set (GDS) curated by subject matter experts (SMEs), which serves as a ground truth benchmark. We introduce an automated intelligent sampling pipeline that uses propensity scores to efficiently expand dataset coverage. We demonstrate the framework's practical application in several key areas: benchmarking the cost-performance trade-offs of various LLM agents, establishing a rigorous methodology for data-driven prompt optimization, managing complex policy evolution, and ensuring the integrity of policy content prevalence metrics via continuous validation. The framework enables a shift from subjective assessments to a data-driven and quantitative practice for managing content safety systems.
- Abstract（参考訳）: オンラインプラットフォームは、コンテンツの安全性ポリシーを大規模に実施するために、堅牢なシステムを必要とする。
これらのシステムの重要な構成要素は、人間エージェントとLarge Language Models (LLMs)の両方によるモデレーション決定の質を評価する能力である。
しかし、この評価は、コスト、スケール、信頼性の間の本質的にのトレードオフと、進化するポリシーの複雑さによって困難である。
これを解決するために,Pinterestで開発された総合的意思決定品質評価フレームワークを提案する。
このフレームワークは、主観的事項の専門家(SME)がキュレートした高信頼のゴールデンセット(GDS)を中心にしており、根拠的真理ベンチマークとして機能している。
データセットのカバレッジを効率的に拡張するために、確率スコアを用いたインテリジェントな自動サンプリングパイプラインを導入する。
様々なLCMエージェントのコストパフォーマンストレードオフをベンチマークし、データ駆動の迅速な最適化のための厳密な方法論を確立し、複雑なポリシーの進化を管理し、継続的な検証を通じてポリシー内容の精度指標の整合性を確保する。
このフレームワークは、主観的な評価から、コンテンツ安全システムを管理するためのデータ駆動的で定量的なプラクティスへの移行を可能にする。
関連論文リスト
- A Structured Evaluation Framework for Low-Code Platform Selection: A Multi-Criteria Decision Model for Enterprise Digital Transformation [0.0]
本稿では,5つの評価基準に基づく総合評価フレームワークを提案する。
我々は、組織が異なるローコードプラットフォームを定量的に評価し比較できる重み付けスコアリングモデルを提案する。
論文 参考訳（メタデータ） (2025-10-21T12:42:11Z) - Transparent, Evaluable, and Accessible Data Agents: A Proof-of-Concept Framework [0.0]
本稿では、AIエージェントの開発と評価のためのモジュール型コンポーネントベースのアーキテクチャについて述べる。
このシステムは、技術的でないユーザが複雑なデータウェアハウスと対話できるようにすることによって、データアクセシビリティにおける中核的な課題に対処する。
設計の要点は、多層推論フレームワークを通じて達成される透明な意思決定へのコミットメントである。
論文 参考訳（メタデータ） (2025-09-28T23:54:41Z) - Learning Robust Penetration-Testing Policies under Partial Observability: A systematic evaluation [0.28675177318965045]
セキュリティ脆弱性を特定するためのサイバー攻撃のシミュレーションである侵入テストは、シーケンシャルな意思決定の問題を提示している。
部分可観測性はマルコフ決定過程に存在するマルコフ特性を無効にする。
実世界の複雑性をよりよく反映することを目的として,異なる大きさのホストネットワーク上での部分的に観測可能な浸透試験シナリオについて検討した。
論文 参考訳（メタデータ） (2025-09-24T11:27:54Z) - INSEva: A Comprehensive Chinese Benchmark for Large Language Models in Insurance [48.22571187209047]
INSEvaは、保険におけるAIシステムの知識と能力を評価するために設計された中国のベンチマークである。
INSEvaは、ビジネス領域、タスクフォーマット、難易度、認知知識次元をカバーする多次元評価分類を特徴としている。
本ベンチマークでは,オープンエンド応答における忠実度と完全度の両方を評価するための調整された評価手法を実装した。
論文 参考訳（メタデータ） (2025-08-27T03:13:40Z) - Diverse And Private Synthetic Datasets Generation for RAG evaluation: A multi-agent framework [2.102846336724103]
Retrieval-augmented Generation (RAG) システムは、外部知識を組み込むことで、より大きな言語モデルの出力を改善する。
本研究では,RAG評価のための合成QAデータセットを生成するための新しいマルチエージェントフレームワークを導入し,セマンティック多様性とプライバシ保護を優先する。
論文 参考訳（メタデータ） (2025-08-26T11:16:14Z) - Structured Relevance Assessment for Robust Retrieval-Augmented Language Models [0.0]
本稿では,ALMのロバスト性を高める構造的妥当性評価フレームワークを提案する。
提案手法では,セマンティックマッチングとソース信頼性の両方を考慮した多次元スコアリングシステムを採用している。
予備評価では、幻覚率の大幅な低下と推論過程の透明性の向上が示されている。
論文 参考訳（メタデータ） (2025-07-28T19:20:04Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳（メタデータ） (2025-02-19T05:58:52Z) - SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。
手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。
このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
論文 参考訳（メタデータ） (2024-10-14T21:17:22Z) - RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。
事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。
実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文 参考訳（メタデータ） (2024-08-02T13:35:11Z) - Benchmarks for Deep Off-Policy Evaluation [152.28569758144022]
我々は,政策外の評価のベンチマークに使用できるポリシーの集合を提案する。
私たちのベンチマークの目標は、一連の原則から動機付けられた進歩の標準化された尺度を提供することです。
この領域における今後の研究を促進するために、当社のデータとコードに対するオープンソースアクセスを提供しています。
論文 参考訳（メタデータ） (2021-03-30T18:09:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。