論文の概要: Scaling laws in wearable human activity recognition

• arxiv url: http://arxiv.org/abs/2502.03364v1
• Date: Wed, 05 Feb 2025 17:00:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:26:53.309711
• Title: Scaling laws in wearable human activity recognition
• Title（参考訳）: ウェアラブル人間行動認識におけるスケーリング法則
• Authors: Tom Hoddes, Alex Bijamov, Saket Joshi, Daniel Roggen, Ali Etemad, Robert Harle, David Racz,
• Abstract要約: スケーリング法則は、モデルキャパシティと事前学習データボリュームをリンクすることで、より原則化された設計への移行を支援する可能性がある。 事前学習データとトランスフォーマーアーキテクチャの両方を網羅的に網羅的に探索することにより,HARのスケーリング法則を初めて確立する。 これらのスケーリング法則は,3つのHARベンチマークデータセットのダウンストリーム性能向上に寄与することを示す。
• 参考スコア（独自算出の注目度）: 19.49701947129144
• License:
• Abstract: Many deep architectures and self-supervised pre-training techniques have been proposed for human activity recognition (HAR) from wearable multimodal sensors. Scaling laws have the potential to help move towards more principled design by linking model capacity with pre-training data volume. Yet, scaling laws have not been established for HAR to the same extent as in language and vision. By conducting an exhaustive grid search on both amount of pre-training data and Transformer architectures, we establish the first known scaling laws for HAR. We show that pre-training loss scales with a power law relationship to amount of data and parameter count and that increasing the number of users in a dataset results in a steeper improvement in performance than increasing data per user, indicating that diversity of pre-training data is important, which contrasts to some previously reported findings in self-supervised HAR. We show that these scaling laws translate to downstream performance improvements on three HAR benchmark datasets of postures, modes of locomotion and activities of daily living: UCI HAR and WISDM Phone and WISDM Watch. Finally, we suggest some previously published works should be revisited in light of these scaling laws with more adequate model capacities.
• Abstract（参考訳）: ウェアラブルマルチモーダルセンサからの人体活動認識(HAR)には,多くの深層アーキテクチャと自己教師付き事前学習技術が提案されている。 スケーリング法則は、モデルキャパシティと事前学習データボリュームをリンクすることで、より原則化された設計への移行を支援する可能性がある。 しかし、HARのスケーリング法則は言語やビジョンと同じ程度に確立されていない。 事前学習データとトランスフォーマーアーキテクチャの両方を網羅的に網羅的に探索することにより,HARのスケーリング法則を初めて確立する。 本研究では,データ量とパラメータ数とのパワー則関係による事前学習損失尺度が,データセット内のユーザ数の増加は,ユーザ毎のデータの増加よりもパフォーマンスの急激な向上をもたらすことを示すとともに,事前学習データの多様性が重要であることを示す。 これらのスケーリング法則は,UCI HAR と WISDM Phone と WISDM Watch という,姿勢,移動モード,日常生活活動の3つのHARベンチマークデータセットのダウンストリーム性能向上に寄与している。 最後に、より適切なモデル能力を持つこれらのスケーリング法則に基づき、以前に公表されたいくつかの著作を再考するべきであることを示唆する。

関連論文リスト

• Scaling Laws for the Value of Individual Data Points in Machine Learning [55.596413470429475]
  個々のデータポイントの値のスケーリング行動を調べることによって、新しい視点を導入する。 スケーリング法則を支持するための学習理論を提供し、それが様々なモデルクラスにまたがっていることを実証的に観察する。 私たちの研究は、個々のデータポイントの値のスケーリング特性を理解し、活用するための第一歩です。
  論文  参考訳（メタデータ） (2024-05-30T20:10:24Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• Scaling Laws For Dense Retrieval [22.76001461620846]
  本研究は,高密度検索モデルの性能が他のニューラルモデルと同様のスケーリング法則に従うかどうかを考察する。 その結果、我々の設定下では、高密度検索モデルの性能は、モデルサイズとアノテーション数に関連する正確なパワーロースケーリングに従っていることがわかった。
  論文  参考訳（メタデータ） (2024-03-27T15:27:36Z)
• SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
  トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。 本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。 本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
  論文  参考訳（メタデータ） (2023-09-19T11:13:01Z)
• Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
  大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。 重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
  論文  参考訳（メタデータ） (2023-09-15T16:29:27Z)
• Inverse Scaling: When Bigger Isn't Better [80.42834197416444]
  大規模言語モデル(LM)は、スケールの増大による全体的な損失に対する予測可能な改善を示している。 我々は,LMが逆スケーリングや,スケールの増大に伴うタスクパフォーマンスの悪化を示す可能性があるという主張を裏付ける証拠を示す。
  論文  参考訳（メタデータ） (2023-06-15T20:11:23Z)
• Reproducible scaling laws for contrastive language-image learning [42.354402731615444]
  コントラッシブ言語イメージ事前学習(CLIP)のスケーリング法を,パブリックLAIONデータセットとオープンソースOpenCLIPリポジトリを用いて検討する。 私たちの大規模な実験には、最大20億のイメージテキストペアでトレーニングされたモデルと、複数の下流タスクに対する電力法スケーリングの特定が含まれています。 OpenAIモデルとOpenCLIPモデルは、同一のモデルアーキテクチャにもかかわらず、異なるスケーリング挙動を示すため、トレーニング分布がスケーリング法則において重要な役割を果たすことがわかった。
  論文  参考訳（メタデータ） (2022-12-14T10:24:50Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)
• Beyond neural scaling laws: beating power law scaling via data pruning [37.804100045519846]
  理論的には、電力法のスケーリングを超越して、指数的なスケーリングまで削減できる可能性も示しています。 よりシンプルで安価でスケーラブルな自己教師付きプルーニングメトリクスを開発し、最高の教師付き指標に匹敵するパフォーマンスを示す。 全体として、我々の研究は、優れたデータ処理メトリクスの発見が、ニューラルネットワークのスケーリング法則を大幅に改善する上で、実行可能な道筋となることを示唆している。
  論文  参考訳（メタデータ） (2022-06-29T09:20:47Z)
• Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments [42.793379799720434]
  本稿では,スケーリング法則がモデル開発の促進に有効かどうかを考察する。 スケーリング法則は、いくつかのNLPタスクにおいて微調整時に現れる。 スケーリング法則が存在するタスクに対しては、より大きなモデルのパフォーマンスを予測するために使用することができる。
  論文  参考訳（メタデータ） (2022-02-13T19:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。