論文の概要: SAGE: Scalable AI Governance & Evaluation

• arxiv url: http://arxiv.org/abs/2602.07840v1
• Date: Sun, 08 Feb 2026 06:42:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.82824
• Title: SAGE: Scalable AI Governance & Evaluation
• Title（参考訳）: SAGE: スケーラブルなAIガバナンスと評価
• Authors: Benjamin Le, Xueying Lu, Nick Stern, Wenqiong Liu, Igor Lapchuk, Xiang Li, Baofen Zheng, Kevin Rosenberg, Jiewen Huang, Zhe Zhang, Abraham Cabangbang, Satej Milind Wagle, Jianqiang Shen, Raghavan Muthuregunathan, Abhinav Gupta, Mathew Teoh, Andrew Kirk, Thomas Kwan, Jingwei Wu, Wenjing Zhang,
• Abstract要約: textbfSAGEは、スケーラブルな評価信号として高品質な製品判断を運用するフレームワークである。 SAGEはLinkedIn Searchエコシステム内にデプロイされ、モデルバリエーションの増大を計測し、エンゲージメントメトリクスに見えない回帰を検出する、ポリシの監視に使用された。
• 参考スコア（独自算出の注目度）: 10.238041570564395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating relevance in large-scale search systems is fundamentally constrained by the governance gap between nuanced, resource-constrained human oversight and the high-throughput requirements of production systems. While traditional approaches rely on engagement proxies or sparse manual review, these methods often fail to capture the full scope of high-impact relevance failures. We present \textbf{SAGE} (Scalable AI Governance \& Evaluation), a framework that operationalizes high-quality human product judgment as a scalable evaluation signal. At the core of SAGE is a bidirectional calibration loop where natural-language \emph{Policy}, curated \emph{Precedent}, and an \emph{LLM Surrogate Judge} co-evolve. SAGE systematically resolves semantic ambiguities and misalignments, transforming subjective relevance judgment into an executable, multi-dimensional rubric with near human-level agreement. To bridge the gap between frontier model reasoning and industrial-scale inference, we apply teacher-student distillation to transfer high-fidelity judgments into compact student surrogates at \textbf{92$\times$} lower cost. Deployed within LinkedIn Search ecosystems, SAGE guided model iteration through simulation-driven development, distilling policy-aligned models for online serving and enabling rapid offline evaluation. In production, it powered policy oversight that measured ramped model variants and detected regressions invisible to engagement metrics. Collectively, these drove a \textbf{0.25\%} lift in LinkedIn daily active users.
• Abstract（参考訳）: 大規模検索システムにおける関連性の評価は, ヌアンス, 資源制約による人的監督と生産システムの高スループット要求とのガバナンスギャップにより, 基本的に制限されている。 従来のアプローチでは、エンゲージメントプロキシやスパースマニュアルのレビューに頼っているが、これらの手法は、高インパクトな関連性障害の全スコープを捉えることができないことが多い。 本稿では,高品質な製品判断をスケーラブルな評価信号として運用するフレームワークであるtextbf{SAGE}(Scalable AI Governance \& Evaluation)を提案する。 SAGE の中核には、自然言語 \emph{Policy}、キュレートされた \emph{Precedent}、および \emph{LLM Surrogate Judge} が共進化する双方向キャリブレーションループがある。 SAGEは、意味的曖昧さと不一致を体系的に解決し、主観的関連性判断を、ほぼ人間レベルの合意で実行可能な多次元のルーリックに変換する。 そこで本研究では,フロンティアモデル推論と工業規模推論のギャップを埋めるために,高忠実度判断を低コストでコンパクトな学生代理に伝達するために,教師による蒸留を適用した。 LinkedIn Searchエコシステム内にデプロイされたSAGEは、シミュレーション駆動開発、オンラインサービスのためのポリシ整合モデルの蒸留、迅速なオフライン評価の実現を通じて、モデルイテレーションをガイドした。 プロダクションでは、拡大したモデル変異を測定し、エンゲージメントメトリクスに見えない回帰を検知するポリシー監視を動力とした。 まとめると、これはLinkedInのデイリーアクティブユーザーにおける‘textbf{0.25\%}リフトを駆動した。

関連論文リスト

• ProAct: Agentic Lookahead in Interactive Environments [56.50613398808361]
  ProActは、2段階のトレーニングパラダイムを通じて、エージェントが正確なルックアヘッド推論を内部化することを可能にするフレームワークである。 そこでは,環境に基づく探索から得られたトラジェクトリの微調整をエージェントが行うGLAD(Grounded LookAhead Distillation)を紹介する。 また,政策段階のアルゴリズムを改良する補助値推定器であるモンテカルロ批判(MC-Critic)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T05:45:16Z)
• The Shadow Self: Intrinsic Value Misalignment in Large Language Model Agents [37.75212140218036]
  コントロの損失リスクを定式化し、これまで過小評価されていた内因性価値の相違(内因性VM)を識別する。 次に、このリスクを体系的に評価するシナリオ駆動フレームワークであるIMPRESSを紹介します。 我々は,21種類のLLMエージェント上での固有のVMの評価を行い,モデル間での安全性のリスクが広く見られることを発見した。
  論文  参考訳（メタデータ） (2026-01-24T07:09:50Z)
• Benchmarking Contextual Understanding for In-Car Conversational Systems [0.9437812993238097]
  In-car Conversational Question Answering (ConvQA) システムは,シームレスな音声対話を実現することでユーザエクスペリエンスを著しく向上させる。 本稿では,Large Language Models (LLMs) と高度なプロンプト技術およびエージェントベース手法を用いて,ConvQAシステム応答がユーザの発話に適合する程度を評価する。
  論文  参考訳（メタデータ） (2025-12-12T21:15:49Z)
• SPACeR: Self-Play Anchoring with Centralized Reference Models [50.55045557371374]
  Simエージェントポリシーは、現実的で、人間らしく、高速で、マルチエージェント設定でスケーラブルである。 大規模な拡散モデルやトークン化モデルを用いた模倣学習の最近の進歩は、人間の運転データから直接行動を把握することができることを示している。 本研究では,事前訓練されたトークン化自己回帰運動モデルを利用したSPACeRを提案する。
  論文  参考訳（メタデータ） (2025-10-20T19:53:02Z)
• Steerable Adversarial Scenario Generation through Test-Time Preference Alignment [58.37104890690234]
  対立シナリオ生成は、自律運転システムの安全性評価のためのコスト効率の良いアプローチである。 textbfSteerable textbfAdversarial scenario textbfGEnerator (SAGE) という新しいフレームワークを導入する。 SAGEは、逆境とリアリズムの間のトレードオフを、再トレーニングなしできめ細かいテストタイムコントロールを可能にします。
  論文  参考訳（メタデータ） (2025-09-24T13:27:35Z)
• LLM-as-a-Judge: Rapid Evaluation of Legal Document Recommendation for Retrieval-Augmented Generation [40.06592175227558]
  本稿では,法的な文脈における検索・拡張生成システムの評価に対する原則的アプローチについて検討する。 我々は、クリッペンドルフのαのような従来の合意メトリクスが、AIシステム評価の典型的な歪んだ分布に誤解をもたらす可能性があることを発見した。 本研究は,法的な応用によって要求される精度を維持するための,スケーラブルで費用効果の高い評価への道筋を示唆する。
  論文  参考訳（メタデータ） (2025-09-15T19:20:21Z)
• STARec: An Efficient Agent Framework for Recommender Systems via Autonomous Deliberate Reasoning [54.28691219536054]
  我々は、自律的な熟考的推論機能を備えたレコメンデータシステムを支援する、ゆっくり考えられた拡張エージェントフレームワークSTARecを紹介する。 我々は,先進的推論モデルと嗜好整合型報酬形成から構造化知識の蒸留を組み合わせた2段階のパラダイムであるアンカー強化訓練を開発する。 MovieLens 1MとAmazon CDsベンチマークの実験では、STARecは最先端のベースラインと比較して、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-08-26T08:47:58Z)
• Generalising from Self-Produced Data: Model Training Beyond Human Constraints [0.0]
  本稿では,AIモデルが新たな知識を自律的に生成し,検証する新しい枠組みを提案する。 このアプローチの中心は、人間のベンチマークを必要とせずに学習をガイドする、無制限で使い捨ての数値報酬である。
  論文  参考訳（メタデータ） (2025-04-07T03:48:02Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。