論文の概要: Equally Critical: Samples, Targets, and Their Mappings in Datasets

• arxiv url: http://arxiv.org/abs/2506.01987v1
• Date: Sat, 17 May 2025 08:27:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-08 12:40:08.66203
• Title: Equally Critical: Samples, Targets, and Their Mappings in Datasets
• Title（参考訳）: 平等に重要なこと:データセットにおけるサンプル、ターゲット、マッピング
• Authors: Runkang Yang, Peng Sun, Xinyi Shang, Yi Tang, Tao Lin,
• Abstract要約: 本稿では,サンプルとターゲットがトレーニングのダイナミクスにどのように影響するかを検討する。 まず、サンプルとターゲットの相互作用のレンズを通して、既存のパラダイムの分類法を確立する。 次に、トレーニング効率への影響を評価するために、新しい統合損失フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.859656302020063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data inherently possesses dual attributes: samples and targets. For targets, knowledge distillation has been widely employed to accelerate model convergence, primarily relying on teacher-generated soft target supervision. Conversely, recent advancements in data-efficient learning have emphasized sample optimization techniques, such as dataset distillation, while neglected the critical role of target. This dichotomy motivates our investigation into understanding how both sample and target collectively influence training dynamic. To address this gap, we first establish a taxonomy of existing paradigms through the lens of sample-target interactions, categorizing them into distinct sample-to-target mapping strategies. Building upon this foundation, we then propose a novel unified loss framework to assess their impact on training efficiency. Through extensive empirical studies on our proposed strategies, we comprehensively analyze how variations in target and sample types, quantities, and qualities influence model training, providing six key insights to enhance training efficacy.
• Abstract（参考訳）: データは本来、サンプルとターゲットという2つの属性を持っています。 ターゲットに対しては,主に教師が生成するソフトターゲットの監督に依存するモデル収束を促進するために,知識蒸留が広く採用されている。 逆に、データ効率学習の最近の進歩は、ターゲットの重要な役割を無視しつつ、データセット蒸留などのサンプル最適化技術を強調している。 この二分法は、サンプルとターゲットの両方がトレーニングのダイナミクスにどのように影響するかを理解するための調査の動機となる。 このギャップに対処するために、我々はまずサンプルとターゲットの相互作用のレンズを通して既存のパラダイムの分類を確立し、それらを異なるサンプルとターゲットのマッピング戦略に分類する。 この基盤を基盤として,トレーニング効率への影響を評価するため,新たな統合損失フレームワークを提案する。 提案手法に関する広範な実証研究を通じて,ターゲットタイプ,サンプルの種類,量,品質がモデルトレーニングに与える影響を総合的に分析し,トレーニングの有効性を高めるための6つの重要な洞察を提供する。

関連論文リスト

• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Learning from Different Samples: A Source-free Framework for Semi-supervised Domain Adaptation [20.172605920901777]
  本稿では,異なる対象サンプルを包括的にマイニングするための異なる戦略を利用するフレームワークの設計に焦点をあてる。 そこで本研究では,対象領域における事前学習モデルの半教師付き微調整を実現するための,新しいソースフリーフレームワーク(SOUF)を提案する。
  論文  参考訳（メタデータ） (2024-11-11T02:09:32Z)
• Most Influential Subset Selection: Challenges, Promises, and Beyond [9.479235005673683]
  我々は,最も集団的影響の大きいトレーニングサンプルのサブセットを特定することを目的とした,MISS(Most Influential Subset Selection)問題について検討する。 我々は、MISにおける一般的なアプローチを包括的に分析し、その強みと弱点を解明する。 本稿では,これらを反復的に適用した適応バージョンが,試料間の相互作用を効果的に捕捉できることを実証する。
  論文  参考訳（メタデータ） (2024-09-25T20:00:23Z)
• Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
  マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。 我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
  論文  参考訳（メタデータ） (2023-08-10T08:43:20Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Regularization Through Simultaneous Learning: A Case Study on Plant Classification [0.0]
  本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。 我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。 興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-22T19:44:57Z)
• Learning Transferable Adversarial Robust Representations via Multi-view Consistency [57.73073964318167]
  デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。 未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T11:48:01Z)
• Delving into Data: Effectively Substitute Training for Black-box Attack [84.85798059317963]
  本稿では,知識盗むプロセスで使用されるデータの分散設計に焦点をあてた,新しい視点代替トレーニングを提案する。 これら2つのモジュールの組み合わせにより、代替モデルとターゲットモデルの一貫性がさらに向上し、敵攻撃の有効性が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-26T07:26:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。