論文の概要: Sports Intelligence: Assessing the Sports Understanding Capabilities of Language Models through Question Answering from Text to Video
- arxiv url: http://arxiv.org/abs/2406.14877v1
- Date: Fri, 21 Jun 2024 05:57:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 14:42:51.101898
- Title: Sports Intelligence: Assessing the Sports Understanding Capabilities of Language Models through Question Answering from Text to Video
- Title（参考訳）: スポーツインテリジェンス:テキストからビデオへの質問応答による言語モデルのスポーツ理解能力の評価
- Authors: Zhengbang Yang, Haotian Xia, Jingxi Li, Zezhi Chen, Zhuangdi Zhu, Weining Shen,
- Abstract要約: 複雑なスポーツシナリオに対する推論は、現在のNLP技術にとって大きな課題となっている。
我々の評価は、基本的なルールや歴史的事実に関する単純なクエリから、複雑な文脈固有の推論まで多岐にわたる。
既存のスポーツデータセットの包括的概要に基づく新しいベンチマークを提案し,広範なエラー解析を行った。
- 参考スコア（独自算出の注目度）: 5.885902974241053
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Understanding sports is crucial for the advancement of Natural Language Processing (NLP) due to its intricate and dynamic nature. Reasoning over complex sports scenarios has posed significant challenges to current NLP technologies which require advanced cognitive capabilities. Toward addressing the limitations of existing benchmarks on sports understanding in the NLP field, we extensively evaluated mainstream large language models for various sports tasks. Our evaluation spans from simple queries on basic rules and historical facts to complex, context-specific reasoning, leveraging strategies from zero-shot to few-shot learning, and chain-of-thought techniques. In addition to unimodal analysis, we further assessed the sports reasoning capabilities of mainstream video language models to bridge the gap in multimodal sports understanding benchmarking. Our findings highlighted the critical challenges of sports understanding for NLP. We proposed a new benchmark based on a comprehensive overview of existing sports datasets and provided extensive error analysis which we hope can help identify future research priorities in this field.
- Abstract（参考訳）: スポーツを理解することは、その複雑でダイナミックな性質から、自然言語処理(NLP)の発展に不可欠である。
複雑なスポーツシナリオに対する推論は、高度な認知能力を必要とする現在のNLP技術に重大な課題を提起している。
NLP分野におけるスポーツ理解に関する既存のベンチマークの限界に対処するため,各種スポーツタスクにおける主要言語モデルを広範囲に評価した。
我々の評価は、基本的なルールや歴史的事実に関する単純なクエリから、複雑なコンテキスト固有の推論、ゼロショットから少数ショット学習までの戦略の活用、そしてチェーンオブ思考技術まで、多岐にわたる。
さらに,マルチモーダルスポーツ理解ベンチマークのギャップを埋めるために,主流のビデオ言語モデルのスポーツ推論能力について検討した。
以上の結果から,NLPにおけるスポーツ理解の重要な課題が浮き彫りになった。
我々は,既存のスポーツデータセットの包括的概要に基づく新しいベンチマークを提案し,この分野での今後の研究優先事項の特定に役立てられるよう,広範なエラー解析を行った。
関連論文リスト
- SPORTU: A Comprehensive Sports Understanding Benchmark for Multimodal Large Language Models [15.062299319625701]
SPORTUはマルチレベルスポーツ推論タスク間でMLLM(Multimodal Large Language Models)を評価するために設計されたベンチマークである。
SPORTUは2つの重要なコンポーネントで構成されている。 SPORTU-textは900の多重選択質問と、ルール理解と戦略理解のための人間アノテーションによる説明を含む。
SPORTUビデオは、7つの異なるスポーツで1,701本のスローモーションビデオクリップと12,048本のQAペアで構成され、マルチレベル推論を評価するように設計されている。
論文 参考訳（メタデータ） (2024-10-11T02:58:38Z) - OSL-ActionSpotting: A Unified Library for Action Spotting in Sports Videos [56.393522913188704]
我々は,スポーツビデオ分析における研究と応用の合理化のために,さまざまなアクションスポッティングアルゴリズムを統合するPythonライブラリであるOSL-ActionSpottingを紹介する。
我々はOSL-ActionSpottingに3つの基本アクションスポッティング手法を統合することに成功した。
論文 参考訳（メタデータ） (2024-07-01T13:17:37Z) - OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。
これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。
我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
論文 参考訳（メタデータ） (2024-06-18T16:20:53Z) - SportQA: A Benchmark for Sports Understanding in Large Language Models [12.860652075730876]
SportQAは、スポーツ理解の文脈で大規模言語モデル(LLM)を評価するために特別に設計されたベンチマークである。
SportQAには3つの難易度で70,000以上の複数の質問が含まれている。
以上の結果から,LSMは基本的なスポーツ知識において有能な性能を示す一方で,より複雑なシナリオベースのスポーツ推論に苦慮していることが明らかとなった。
論文 参考訳（メタデータ） (2024-02-24T17:12:10Z) - Sports-QA: A Large-Scale Video Question Answering Benchmark for Complex
and Professional Sports [90.79212954022218]
スポーツビデオQAタスク用に特別に設計された最初のデータセットであるSports-QAを紹介する。
Sports-QAデータセットには、説明、時系列、因果関係、反事実条件など、さまざまな種類の質問が含まれている。
質問応答のための時間的情報の特定の尺度に自動的にフォーカスできる新しいオートフォーカス変換器(AFT)を提案する。
論文 参考訳（メタデータ） (2024-01-03T02:22:34Z) - A Survey of Deep Learning in Sports Applications: Perception,
Comprehension, and Decision [41.427845300209945]
ディープラーニングはスポーツのパフォーマンスに革命をもたらす可能性がある。
本稿では,アルゴリズム,データセット,仮想環境,課題の3つの側面に焦点を当てる。
論文 参考訳（メタデータ） (2023-07-07T02:22:17Z) - A Survey on Video Action Recognition in Sports: Datasets, Methods and
Applications [60.3327085463545]
本稿では,スポーツ分析のための映像行動認識に関する調査を行う。
サッカー、バスケットボール、バレーボール、ホッケー、フィギュアスケート、体操、卓球、ダイビング、バドミントンなど10種以上のスポーツを紹介します。
本研究では,サッカー,バスケットボール,卓球,フィギュアスケート動作認識をサポートするPaddlePaddleを用いたツールボックスを開発した。
論文 参考訳（メタデータ） (2022-06-02T13:19:36Z) - Distantly Supervised Semantic Text Detection and Recognition for
Broadcast Sports Videos Understanding [0.0]
スポーツクロックにおける極めて正確な意味テキストの検出と認識について検討する。
本稿では,スポーツクロックのデータセットを自動構築する遠隔監視手法を提案する。
私たちは、このシステムを産業環境でスケールするために、計算アーキテクチャパイプラインを共有します。
論文 参考訳（メタデータ） (2021-10-31T23:59:29Z) - Game Plan: What AI can do for Football, and What Football can do for AI [83.79507996785838]
予測的および規範的フットボール分析は、統計学習、ゲーム理論、コンピュータビジョンの交差点における新たな発展と進歩を必要とする。
フットボール分析は、サッカー自体のゲームを変えるだけでなく、この領域がAIの分野で何を意味するのかという観点からも、非常に価値の高いゲームチェンジャーであることを示す。
論文 参考訳（メタデータ） (2020-11-18T10:26:02Z) - Interactive Fiction Game Playing as Multi-Paragraph Reading
Comprehension with Reinforcement Learning [94.50608198582636]
対話型フィクション(IF)ゲームと実際の自然言語テキストは、言語理解技術に対する新たな自然な評価を提供する。
IFゲーム解決の新たな視点を捉え,MPRC(Multi-Passage Reading)タスクとして再フォーマットする。
論文 参考訳（メタデータ） (2020-10-05T23:09:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。