Fugu-MT 論文翻訳(概要): Finding the Muses: Identifying Coresets through Loss Trajectories

論文の概要: Finding the Muses: Identifying Coresets through Loss Trajectories

arxiv url: http://arxiv.org/abs/2503.09721v1
Date: Wed, 12 Mar 2025 18:11:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-14 15:54:32.601629
Title: Finding the Muses: Identifying Coresets through Loss Trajectories
Title（参考訳）: ミューズを見つける:損失軌道によるコアセットの同定
Authors: Manish Nagaraj, Deepak Ravikumar, Efstathia Soufleri, Kaushik Roy,
Abstract要約: Loss Trajectory correlation (LTC)は、コアセット選択のための新しいメトリクスであり、一般化を駆動する重要なトレーニングサンプルを特定する。 $LTC$は、最先端のコアセット選択メソッドに匹敵する精度を一貫して達成します。また、一致した振る舞いや矛盾するサンプルの振る舞いを識別するなど、トレーニングダイナミクスに関する洞察も提供する。
参考スコア（独自算出の注目度）: 7.293244528299574
License:
Abstract: Deep learning models achieve state-of-the-art performance across domains but face scalability challenges in real-time or resource-constrained scenarios. To address this, we propose Loss Trajectory Correlation (LTC), a novel metric for coreset selection that identifies critical training samples driving generalization. $LTC$ quantifies the alignment between training sample loss trajectories and validation set loss trajectories, enabling the construction of compact, representative subsets. Unlike traditional methods with computational and storage overheads that are infeasible to scale to large datasets, $LTC$ achieves superior efficiency as it can be computed as a byproduct of training. Our results on CIFAR-100 and ImageNet-1k show that $LTC$ consistently achieves accuracy on par with or surpassing state-of-the-art coreset selection methods, with any differences remaining under 1%. LTC also effectively transfers across various architectures, including ResNet, VGG, DenseNet, and Swin Transformer, with minimal performance degradation (<2%). Additionally, LTC offers insights into training dynamics, such as identifying aligned and conflicting sample behaviors, at a fraction of the computational cost of traditional methods. This framework paves the way for scalable coreset selection and efficient dataset optimization.
Abstract（参考訳）: ディープラーニングモデルは、ドメイン間で最先端のパフォーマンスを実現するが、リアルタイムまたはリソース制約のあるシナリオでスケーラビリティの課題に直面している。そこで本研究では,コアセット選択のための新たな指標であるLoss Trajectory correlation (LTC)を提案する。 $LTC$は、トレーニングサンプル損失軌跡と検証セット損失軌跡のアライメントを定量化し、コンパクトで代表的なサブセットの構築を可能にする。大規模なデータセットにスケールできない計算とストレージのオーバーヘッドを持つ従来の方法とは異なり、$LTC$はトレーニングの副産物として計算できるため、優れた効率を実現している。 CIFAR-100 と ImageNet-1k による結果から,$LTC$ は最先端コアセット選択法と同程度に精度が向上し,その差は1%以下であった。 LTCは、ResNet、VGG、DenseNet、Swin Transformerなど、さまざまなアーキテクチャを効果的に移行し、パフォーマンスの低下を最小限に抑える(<2%)。さらに、LCCは、従来の手法の計算コストのごく一部で、整列と矛盾するサンプルの振る舞いを識別するなど、トレーニングのダイナミクスに関する洞察を提供する。このフレームワークは、スケーラブルなコアセットの選択と効率的なデータセット最適化の道を開く。

関連論文リスト

Adaptive Dataset Quantization [2.0105434963031463]
適応データセット量子化(ADQ)という,データセット圧縮のための汎用フレームワークを導入する。本稿では,生成したビンの代表性スコア,多様性スコア,重要度スコアの評価を通じて,新しい適応型サンプリング戦略を提案する。提案手法は, 異なるアーキテクチャにまたがる優れた一般化能力を示すだけでなく, 各種データセットにおいてDQを平均3%越えて, 最先端の結果が得られる。
論文参考訳（メタデータ） (2024-12-22T07:08:29Z)
Towards Sustainable Learning: Coresets for Data-efficient Deep Learning [9.51481812606879]
CRESTは、データセットに関する厳密な理論的サブセット実験を備えた、最初のスケーラブルなサブセットディープネットワークフレームワークである。 CRESTは、非イメージ関数の最も価値のある例を特定している。
論文参考訳（メタデータ） (2023-06-02T02:51:08Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文参考訳（メタデータ） (2023-01-22T17:12:58Z)
Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
論文参考訳（メタデータ） (2022-11-20T15:49:11Z)
Adaptive Second Order Coresets for Data-efficient Machine Learning [5.362258158646462]
データセット上で機械学習モデルをトレーニングすると、かなりの計算コストが発生する。機械学習のためのトレーニング例のサブセットを抽出するために,AdaCoreを提案する。
論文参考訳（メタデータ） (2022-07-28T05:43:09Z)
DANCE: DAta-Network Co-optimization for Efficient Segmentation Model Training and Inference [85.02494022662505]
DANCEは、効率的なセグメンテーションモデルのトレーニングと推論のための自動データネットワーク協調最適化である。入力イメージを適応的にダウンサンプル/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対するそれに対応するコントリビューションを制御する。実験と非難研究により、DANCEは効率的なセグメンテーションに向けて「オールウィン」を達成できることを示した。
論文参考訳（メタデータ） (2021-07-16T04:58:58Z)
Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
論文参考訳（メタデータ） (2021-06-17T02:40:18Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)
Gradual Channel Pruning while Training using Feature Relevance Scores for Convolutional Neural Networks [6.534515590778012]
プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
論文参考訳（メタデータ） (2020-02-23T17:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。