論文の概要: GrandJury: A Collaborative Machine Learning Model Evaluation Protocol for Dynamic Quality Rubrics

• arxiv url: http://arxiv.org/abs/2508.02926v2
• Date: Wed, 06 Aug 2025 19:57:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 11:49:27.095231
• Title: GrandJury: A Collaborative Machine Learning Model Evaluation Protocol for Dynamic Quality Rubrics
• Title（参考訳）: GrandJury: 動的品質ルーブリックのための協調機械学習モデル評価プロトコル
• Authors: Arthur Cho,
• Abstract要約: 生成機械学習モデルは現代のシステムの中心となり、クリエイティブな文章、要約、マルチホップ推論、コンテキスト認識対話などの応用に力を入れている。 標準的な評価体制は依然として静的なベンチマークスタイルのテストに依存しており、動的なユーザニーズや現実の進化ではなく、リーダボードスコアへの最適化を動機付けている。 GrandJuryは、動的で透明なタスク属性と人間の判断をサポートすることで、タイムデケイドアグリゲーション、完全なトレーサビリティを組み合わせた正式な評価プロトコルを導入している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Machine Learning models have become central to modern systems, powering applications in creative writing, summarization, multi-hop reasoning, and context-aware dialogue. These models underpin large-scale AI assistants, workflow automation, and autonomous decision-making. In such domains, acceptable response is rarely absolute or static, but plural and highly context-dependent. Yet standard evaluation regimes still rely on static, benchmark-style tests, incentivizing optimization toward leaderboard scores rather than alignment with dynamic user needs or evolving realities. GrandJury introduces a formal evaluation protocol combining time-decayed aggregation, complete traceability, with the support of dynamic, transparent task rubric attribution, and multi-rater human judgment. Together, these elements enable pluralistic, accountable evaluation that captures evolving consensus and surfaces disagreement. We provide an open-source implementation (grandjury PyPI package) and a public collection of Large Language Model (LLM) inference outputs to illustrate the need and method. GrandJury provides a new paradigm for AI practitioners when evaluating machine learning outputs without absolute ground truth.
• Abstract（参考訳）: 生成機械学習モデルは現代のシステムの中心となり、クリエイティブな文章、要約、マルチホップ推論、コンテキスト認識対話などの応用に力を入れている。 これらのモデルは、大規模なAIアシスタント、ワークフロー自動化、そして自律的な意思決定を支える。 このような領域では、許容応答は絶対あるいは静的にはほとんどないが、複数の文脈に依存している。 しかし、標準的な評価体制は依然として静的なベンチマークスタイルのテストに依存しており、動的なユーザニーズに合わせるか、現実を進化させるかではなく、リーダーボードスコアに最適化をインセンティブ付けしている。 GrandJuryは、動的で透明なタスクルーリック属性とマルチラター人間の判断をサポートすることで、タイムデケイドアグリゲーション、完全トレーサビリティを組み合わせた正式な評価プロトコルを導入している。 これらの要素は、進化するコンセンサスと表面の不一致をキャプチャする多元的かつ説明可能な評価を可能にする。 我々は,オープンソース実装(グランジュリーPyPIパッケージ)とLLM(Large Language Model)推論出力の公開コレクションを提供し,そのニーズと方法を説明する。 GrandJuryは、絶対的根拠のない機械学習のアウトプットを評価するとき、AI実践者のための新しいパラダイムを提供する。

関連論文リスト

• Adapting Vision-Language Models for Evaluating World Models [24.813041196394582]
  データおよび計算制約下でのシミュレーション環境におけるロールアウトに対する視覚言語評価手法であるUNIVERSEを提案する。 本研究では,タスク形式,コンテキスト長,サンプリング戦略,データ構成を網羅した,完全,部分的,パラメータ効率の微調整を大規模に検討する。 その結果得られた統合評価器は、単一のチェックポイントを使用してタスク固有のベースラインのパフォーマンスにマッチする。
  論文  参考訳（メタデータ） (2025-06-22T09:53:28Z)
• Evolutionary Perspectives on the Evaluation of LLM-Based AI Agents: A Comprehensive Survey [45.485318955120924]
  従来の大規模言語モデル(LLM)からより高度なAIエージェントへの移行は、重要な進化のステップである。 既存の評価フレームワークは、LLMチャットボットとAIエージェントの区別を曖昧にし、適切なベンチマークを選択する研究者の間で混乱を招くことが多い。 本稿では,進化的観点からの現在の評価手法の体系的分析を紹介する。
  論文  参考訳（メタデータ） (2025-06-06T17:52:18Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• Generalising from Self-Produced Data: Model Training Beyond Human Constraints [0.0]
  本稿では,AIモデルが新たな知識を自律的に生成し,検証する新しい枠組みを提案する。 このアプローチの中心は、人間のベンチマークを必要とせずに学習をガイドする、無制限で使い捨ての数値報酬である。
  論文  参考訳（メタデータ） (2025-04-07T03:48:02Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
  我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。 先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-29T08:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。