論文の概要: MoveBench: A Rubric-Based Benchmark for Evaluating Large Language Models in Sports and Health Coaching

• arxiv url: http://arxiv.org/abs/2610.26185v1
• Date: Mon, 19 Oct 2026 11:16:18 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:32:07.081697
• Title: MoveBench: A Rubric-Based Benchmark for Evaluating Large Language Models in Sports and Health Coaching
• Title（参考訳）: MoveBench:スポーツおよびヘルスコーチングにおける大規模言語モデル評価のためのルーブリックベースのベンチマーク
• Abstract要約: MoveBenchは、スポーツおよびヘルスコーチングにおける大規模言語モデル(LLM)を評価するための包括的なベンチマークフレームワークである。 以上の結果から,特に安全性意識,構造化プログラム設計,パーソナライゼーション能力において,大幅な性能変動が明らかとなった。 我々の研究は、スポーツと健康のLLMアプリケーションの基礎的評価基準を確立し、安全で信頼性があり、コンテキスト対応のAI駆動型コーチングシステムを改善するための再現可能なフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 13.939461550860843
• License:
• Abstract: Despite rapid advances in large language models (LLMs), their deployment in the sports and health domain remains high-risk due to the absence of domain-specific evaluation benchmarks. Existing general-purpose benchmarks (e.g., MMLU and HELM) primarily assess broad knowledge and reasoning capabilities, but fail to capture critical domain requirements such as exercise safety, physiological appropriateness, personalization, and actionable coaching quality. This gap is particularly concerning in fitness and health applications, where incorrect or unsafe recommendations can lead to physical harm. To address this limitation, we introduce MoveBench, the first comprehensive benchmarking framework specifically designed for evaluating LLMs in sports and health coaching. The proposed benchmark integrates heterogeneous task formats, including multiple-choice questions (MCQs) and open-ended question answering (OpenQA), grounded in real-world user scenarios and paired with structured rubrics emphasizing safety compliance, scientific validity, and training logic. Through large-scale evaluation of 15 diverse LLMs on 809 questions with 5,012 rubric-level criteria, our results reveal substantial performance variability, particularly in safety awareness, structured program design, and personalization capability, highlighting a critical gap between knowing and doing. Our work establishes a foundational evaluation standard for sports and health LLM applications and provides a reproducible framework for advancing safe, reliable, and context-aware AI-driven coaching systems. Open resources are available at https://github.com/SatoSakula/MoveBench.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩にもかかわらず、スポーツや健康分野への展開は、ドメイン固有の評価ベンチマークが欠如しているため、依然としてリスクが高い。 既存の汎用ベンチマーク(例えば、MMLU、HELM)は、主に幅広い知識と推論能力を評価するが、運動安全性、生理的適切性、パーソナライゼーション、行動可能なコーチング品質などの重要な領域要件を捉えることができない。 このギャップはフィットネスや健康の分野で特に関係しており、不適切な推奨や安全でない勧告が身体に害を与える可能性がある。 この制限に対処するため,スポーツおよびヘルスコーチングにおけるLLMの評価に特化して設計された,初の総合的なベンチマークフレームワークであるMoveBenchを紹介した。 提案するベンチマークでは,マルチ選択質問 (MCQ) やオープンエンド質問応答 (OpenQA) などの異種タスク形式を統合し,安全コンプライアンス,科学的妥当性,トレーニングロジックを重視した構造化ルーリックと組み合わせた。 809の質問に対して5,012のルーブリックレベルの基準で15種類のLCMを大規模に評価した結果,特に安全性意識,構造化プログラム設計,パーソナライゼーション能力などにおいて,大幅な性能変動が明らかとなり,知識と行動の間に重要なギャップが浮き彫りになった。 我々の研究は、スポーツと健康のLLMアプリケーションの基礎的評価基準を確立し、安全で信頼性があり、コンテキスト対応のAI駆動型コーチングシステムを改善するための再現可能なフレームワークを提供する。 オープンリソースはhttps://github.com/SatoSakula/MoveBench.comで入手できる。

関連論文リスト

• Evaluating Large Language Models' Responses to Sexual and Reproductive Health Queries in Nepali [1.5533839292240545]
  本稿では, 精度, 言語, ユーザビリティギャップ, 安全性ギャップなど, さまざまな基準で評価を行うLEAFフレームワークを紹介する。 ネパールで14KのSRHクエリを9K以上のユーザから評価した。 結果、回答の35.1%が「適切」であり、正確で適切であり、大きなユーザビリティや安全性に関するギャップがないことが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-04T09:03:01Z)
• From Knowledge to Inference: Scaling Laws of Specialized Reasoning on GlobalHealthAtlas [1.8594711725515678]
  textbfGlobalHealthAtlasは15の公衆衛生ドメインと17の言語にまたがる280,210のインスタンスからなる大規模多言語データセットである。 本稿では,大規模言語モデル (LLM) による検索,複製,エビデンスグラウンドチェック,ラベル検証を併用して構築・品質制御パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-01-31T03:29:30Z)
• Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
  本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。 より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
  論文  参考訳（メタデータ） (2025-08-11T13:08:07Z)
• The Scales of Justitia: A Comprehensive Survey on Safety Evaluation of LLMs [57.1838332916627]
  大規模言語モデル(LLM)は自然言語処理(NLP)において顕著な能力を示している。 広範囲に展開したことにより、大きな安全上の懸念がもたらされた。 LLMの生成したコンテンツは、特に敵の文脈において、毒性、偏見、誤情報などの安全でない振る舞いを示す。
  論文  参考訳（メタデータ） (2025-06-06T05:50:50Z)
• A Proposed S.C.O.R.E. Evaluation Framework for Large Language Models : Safety, Consensus, Objectivity, Reproducibility and Explainability [5.924966178563408]
  大規模言語モデル(LLM)の評価のための5つの重要な側面を提案する。 我々はS.C.O.R.E.が将来のLCMモデル評価フレームワークの基礎となることを示唆する。
  論文  参考訳（メタデータ） (2024-07-10T13:45:16Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。