論文の概要: OnlySportsLM: Optimizing Sports-Domain Language Models with SOTA Performance under Billion Parameters
- arxiv url: http://arxiv.org/abs/2409.00286v1
- Date: Fri, 30 Aug 2024 22:39:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 15:46:49.810968
- Title: OnlySportsLM: Optimizing Sports-Domain Language Models with SOTA Performance under Billion Parameters
- Title（参考訳）: OnlySportsLM:何十億ものパラメータ下でのSOTA性能によるスポーツドメイン言語モデルの最適化
- Authors: Zexin Chen, Chengxi Li, Xiangyu Xie, Parijat Dube,
- Abstract要約: 本稿では,スポーツ関連データに特化して訓練された,小規模なドメイン特化言語モデルの可能性について検討する。
OnlySportsLMは以前の135M/360Mモデルよりも37.62%/34.08%の精度向上を実現している。
- 参考スコア（独自算出の注目度）: 3.2586293270380717
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper explores the potential of a small, domain-specific language model trained exclusively on sports-related data. We investigate whether extensive training data with specially designed small model structures can overcome model size constraints. The study introduces the OnlySports collection, comprising OnlySportsLM, OnlySports Dataset, and OnlySports Benchmark. Our approach involves: 1) creating a massive 600 billion tokens OnlySports Dataset from FineWeb, 2) optimizing the RWKV architecture for sports-related tasks, resulting in a 196M parameters model with 20-layer, 640-dimension structure, 3) training the OnlySportsLM on part of OnlySports Dataset, and 4) testing the resultant model on OnlySports Benchmark. OnlySportsLM achieves a 37.62%/34.08% accuracy improvement over previous 135M/360M state-of-the-art models and matches the performance of larger models such as SomlLM 1.7B and Qwen 1.5B in the sports domain. Additionally, the OnlySports collection presents a comprehensive workflow for building high-quality, domain-specific language models, providing a replicable blueprint for efficient AI development across various specialized fields.
- Abstract（参考訳）: 本稿では,スポーツ関連データに特化して訓練された,小規模なドメイン特化言語モデルの可能性について検討する。
特別に設計された小型モデル構造を持つ広範囲なトレーニングデータが,モデルサイズ制約を克服できるかどうかを検討する。
本研究では, OnlySportsLM, OnlySports Dataset, OnlySports Benchmark からなる OnlySports コレクションを紹介した。
私たちのアプローチは以下のとおりです。
1)FineWebから600億の巨大なトークンをSports Datasetで作成する。
2) スポーツ関連タスクに対するRWKVアーキテクチャの最適化により,20層640次元構造を持つ196Mパラメータモデルが得られた。
3) OnlySportsLM を OnlySports Dataset の一部としてトレーニングし,
4) OnlySports Benchmarkで結果のモデルをテストします。
OnlySportsLMは、以前の135M/360Mモデルよりも37.62%/34.08%の精度向上を実現し、スポーツ分野でのSomlLM 1.7BやQwen 1.5Bのような大型モデルのパフォーマンスに匹敵する。
さらに、Not onlySportsコレクションは、高品質でドメイン固有の言語モデルを構築するための包括的なワークフローを提供し、さまざまな専門分野にわたる効率的なAI開発のためのレプリカブルな青写真を提供する。
関連論文リスト
- SPORTU: A Comprehensive Sports Understanding Benchmark for Multimodal Large Language Models [15.062299319625701]
SPORTUはマルチレベルスポーツ推論タスク間でMLLM(Multimodal Large Language Models)を評価するために設計されたベンチマークである。
SPORTUは2つの重要なコンポーネントで構成されている。 SPORTU-textは900の多重選択質問と、ルール理解と戦略理解のための人間アノテーションによる説明を含む。
SPORTUビデオは、7つの異なるスポーツで1,701本のスローモーションビデオクリップと12,048本のQAペアで構成され、マルチレベル推論を評価するように設計されている。
論文 参考訳（メタデータ） (2024-10-11T02:58:38Z) - LRM: Large Reconstruction Model for Single Image to 3D [61.47357798633123]
本稿では,1つの入力画像からオブジェクトの3次元モデルを5秒以内で予測する最初のLarge Restruction Model (LRM)を提案する。
LRMは5億の学習可能なパラメータを持つ高度にスケーラブルなトランスフォーマーベースのアーキテクチャを採用し、入力画像からニューラル放射場(NeRF)を直接予測する。
約100万のオブジェクトを含む巨大なマルチビューデータに基づいて、エンド・ツー・エンドでモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-11-08T00:03:52Z) - Matcher: Segment Anything with One Shot Using All-Purpose Feature
Matching [63.88319217738223]
市販の視覚基礎モデルを用いて様々な知覚課題に対処する新しい知覚パラダイムであるMatcherを提案する。
Matcherは、様々なセグメンテーションタスクにまたがる印象的な一般化パフォーマンスを、すべてトレーニングなしでデモする。
我々の結果は、野生の画像に適用されたMatcherのオープンワールドの一般性と柔軟性をさらに示すものである。
論文 参考訳（メタデータ） (2023-05-22T17:59:43Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳（メタデータ） (2023-03-20T19:20:34Z) - LLaMA: Open and Efficient Foundation Language Models [62.94749698865241]
LLaMAは、7Bから65Bのパラメータを含む基礎言語モデルの集合である。
私たちは、何十兆ものトークンでモデルをトレーニングし、公開データセットのみを使用して最先端モデルをトレーニングすることが可能であることを示しています。
論文 参考訳（メタデータ） (2023-02-27T17:11:15Z) - ESTA: An Esports Trajectory and Action Dataset [0.0]
我々はエスポートデータを用いて、勝利予測のための機械学習モデルを開発する。
Awpyはオープンソースのライブラリで、プレイヤーの軌跡やアクションをゲームログから抽出できる。
ESTAは、これまでで最大かつ最も細かく公開されているスポーツデータセットの1つである。
論文 参考訳（メタデータ） (2022-09-20T17:13:50Z) - Sports Video Analysis on Large-Scale Data [10.24207108909385]
本稿では,スポーツビデオにおける自動機械記述のモデル化について検討する。
スポーツビデオ分析のためのNBAデータセット(NSVA)を提案する。
論文 参考訳（メタデータ） (2022-08-09T16:59:24Z) - SoccerNet-Tracking: Multiple Object Tracking Dataset and Benchmark in
Soccer Videos [62.686484228479095]
本稿では,各30の200列からなる複数物体追跡のための新しいデータセットを提案する。
データセットは、バウンディングボックスとトラックレットIDで完全に注釈付けされている。
分析の結果,サッカービデオにおける複数の選手,審判,ボール追跡が解決されるには程遠いことがわかった。
論文 参考訳（メタデータ） (2022-04-14T12:22:12Z) - DeepSportLab: a Unified Framework for Ball Detection, Player Instance
Segmentation and Pose Estimation in Team Sports Scenes [19.845244830593067]
本稿では,(i)ボールの位置,(ii)ポーズの予測,および(iii)チームスポーツシーンにおける選手のインスタンスマスクをセグメント化するための統一的な枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-01T16:30:51Z) - MultiSports: A Multi-Person Video Dataset of Spatio-Temporally Localized
Sports Actions [39.27858380391081]
本論文では、マルチスポーツとして作成された原子時間行動の新しいマルチパーソンデータセットを提示する。
4つのスポーツクラスを選択し、約3200のビデオクリップを収集し、37790のアクションインスタンスに907kバウンディングボックスをアノテートすることで、MultiSports v1.0のデータセットを構築します。
論文 参考訳（メタデータ） (2021-05-16T10:40:30Z) - BigNAS: Scaling Up Neural Architecture Search with Big Single-Stage
Models [59.95091850331499]
予測精度を高めるためには,重みの処理後処理が必要であるという従来の知恵に挑戦するアプローチであるBigNASを提案する。
発見されたモデルファミリーであるBigNASModelsは76.5%から80.9%の範囲でトップ1の精度を達成した。
論文 参考訳（メタデータ） (2020-03-24T23:00:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。