論文の概要: All against the machine: the Solo score for rating skill in variable environments

• arxiv url: http://arxiv.org/abs/2610.04523v1
• Date: Sat, 03 Oct 2026 13:40:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 19:10:29.809634
• Title: All against the machine: the Solo score for rating skill in variable environments
• Title（参考訳）: マシン対決:可変環境における評価スキルのSoloスコア
• Abstract要約: プレイヤー対環境設定における個々のスキルを評価するための分布自由度尺度を提案する。 このような設定は、デジタルプラットフォーム、ゲーム、教育、財務、AIエージェントのベンチマーク評価で一般的である。 モバイルゲームCandy Crush SagaとBubble Witch 3 Sagaにおける2時間105ドルのプレーヤーの進行状況に関するアプローチを検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose a distribution-free metric to rate individual skill in ``player-versus-environment'' settings, where participants face heterogeneous tasks without direct opponents. Such settings are common in digital platforms, games, education, finance, and the benchmark evaluation of AI agents. They combine high randomness, tasks of widely varying difficulty, and unknown heterogeneity across individuals. Our metric maps each task outcome to a bounded performance score with zero population mean and variance bounded by $1/3$, regardless of the outcome distribution, so that scores are directly comparable across tasks. Aggregating these scores over tasks yields an interpretable skill score for each individual (the ``Solo'' rating), and a reshuffling null model tests whether that score exceeds what chance alone would produce. We validate the approach on the progression of $2\times10^5$ players in the mobile games Candy Crush Saga and Bubble Witch 3 Saga. The metric identifies high- and low-skill players with high statistical confidence, their classification persists over hundreds of subsequent levels, and a windowed version of the score tracks changes in performance along progression.
• Abstract（参考訳）: 本研究では,「プレイヤ・ヴァーサス・環境」設定において,参加者が直接の反対者なしで異種課題に直面している場合において,個々のスキルを評価するための分布自由度尺度を提案する。 このような設定は、デジタルプラットフォーム、ゲーム、教育、財務、AIエージェントのベンチマーク評価で一般的である。 それらは高いランダム性、幅広い難しさのタスク、個人間で未知の不均一性を組み合わせている。 我々の測定基準は、各タスクの成果を、結果分布に関係なく、ゼロ集団平均と1/3$のばらつきで有界パフォーマンススコアにマッピングし、タスク間で直接比較する。 これらのスコアをタスクよりも集約すると、個々の解釈可能なスキルスコア(‘Solo’の評価)が得られます。 モバイルゲームCandy Crush SagaとBubble Witch 3 Sagaにおける2ドル10^5$プレーヤーの進行状況に関するアプローチを検証する。 このメトリクスは、高い統計的信頼度を持つハイスキルとロースキルのプレイヤーを特定し、それらの分類は、その後の何百ものレベルに留まり、スコアのウィンドウ化されたバージョンは、進行に伴うパフォーマンスの変化を追跡する。

関連論文リスト

• Strategic Multi-Agent Learning for Interpretable Action Valuation of All Players in Football [6.8055385768376615]
  本研究ではマルコフ完全平衡(MPE)にインスパイアされた行動評価フレームワークを提案する。 J1リーグ95試合の追跡とイベントデータを用いて、提案した定式化と独立した強化学習ベースラインを比較した。
  論文  参考訳（メタデータ） (2026-10-05T08:13:42Z)
• Optimal Rates for Feasible Payoff Set Estimation in Games [19.616985668606695]
  ゲーム逆理論は、観察された行動と整合した支払の集合全体を特定することを目的としている。 我々は、ハースドルフ計量上で、高い確率と最大精度で実現可能なペイオフの集合を推定する問題に焦点をあてる。 この結果は,マルチエージェント環境における設定値のペイオフ推論のための学習理論の基礎を提供する。
  論文  参考訳（メタデータ） (2026-02-04T10:27:11Z)
• ConsistencyAI: A Benchmark to Assess LLMs' Factual Consistency When Responding to Different Demographic Groups [0.0]
  本稿では,大規模言語モデル(LLM)の現実的整合性を測定するための独立したベンチマークであるConsistencyAIを紹介する。 実験では、19のLSMを質問し、15のトピック毎に5つの事実を要求した。 回答を文埋め込み, 対人コサイン類似度を計算し, 対人コサイン類似度の重み付け平均を計算し, 事実整合性スコアを算出した。
  論文  参考訳（メタデータ） (2025-10-11T23:32:02Z)
• Grade Inflation in Generative Models [53.21822493223038]
  その結果,合成データの2次元分布と地絡データの2次元分布を比較することで,より優れた結果が得られることがわかった。 我々は、すべてのデータポイントを等しく評価するスコアも、これらと同様に、グレードインフレーションを示すことを提案する。 等密度スコアと負の次数R'enyiエントロピーの関連を同定する。
  論文  参考訳（メタデータ） (2024-12-31T22:34:54Z)
• SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
  分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。 ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。 提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
  論文  参考訳（メタデータ） (2024-11-14T17:53:35Z)
• Active Ranking of Experts Based on their Performances in Many Tasks [72.96112117037465]
  我々は、dタスクのパフォーマンスに基づいて、n名のエキスパートをランク付けする問題を考察する。 我々は,各専門家のペアに対して,各タスクにおいて他方よりも優れているという,単調な仮定を定めている。
  論文  参考訳（メタデータ） (2023-06-05T06:55:39Z)
• CommonsenseQA 2.0: Exposing the Limits of AI through Gamification [126.85096257968414]
  現代自然言語理解モデルの能力をテストするベンチマークを構築した。 本研究では,データ構築の枠組みとしてゲーミフィケーションを提案する。
  論文  参考訳（メタデータ） (2022-01-14T06:49:15Z)
• Evaluating Team Skill Aggregation in Online Competitive Games [4.168733556014873]
  本稿では,2つの新しい集計手法が評価システムの予測性能に与える影響について分析する。 以上の結果から,テストケースの大部分において,MAX法が他の2手法よりも優れていることが示された。 本研究の結果は,チームのパフォーマンスを計算するために,より精巧な手法を考案する必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2021-06-21T20:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。