論文の概要: Striving for data-model efficiency: Identifying data externalities on
group performance
- arxiv url: http://arxiv.org/abs/2211.06348v1
- Date: Fri, 11 Nov 2022 16:48:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 15:37:28.264518
- Title: Striving for data-model efficiency: Identifying data externalities on
group performance
- Title(参考訳): データモデル効率を追求する: グループパフォーマンスにおけるデータ外部性同定
- Authors: Esther Rolf, Ben Packer, Alex Beutel, Fernando Diaz
- Abstract要約: 信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。
我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。
以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
- 参考スコア(独自算出の注目度): 75.17591306911015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Building trustworthy, effective, and responsible machine learning systems
hinges on understanding how differences in training data and modeling decisions
interact to impact predictive performance. In this work, we seek to better
understand how we might characterize, detect, and design for data-model
synergies. We focus on a particular type of data-model inefficiency, in which
adding training data from some sources can actually lower performance evaluated
on key sub-groups of the population, a phenomenon we refer to as negative data
externalities on group performance. Such externalities can arise in standard
learning settings and can manifest differently depending on conditions between
training set size and model size. Data externalities directly imply a lower
bound on feasible model improvements, yet improving models efficiently requires
understanding the underlying data-model tensions. From a broader perspective,
our results indicate that data-efficiency is a key component of both accurate
and trustworthy machine learning.
- Abstract(参考訳): 信頼できる、効果的、責任のある機械学習システムの構築は、トレーニングデータとモデリング決定の相違が予測パフォーマンスにどのように影響するかを理解することにかかっている。
この研究では、データモデルシナジーの特徴付け、検出、設計についてより深く理解することを目指している。
我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要サブグループで評価されるパフォーマンスを実際に低下させることができる。
このような外部性は、標準的な学習設定で発生し、トレーニングセットのサイズとモデルサイズの間の条件によって異なる。
データ外部性は、実現可能なモデル改善のバウンダリが低いことを意味するが、モデルの改善には基礎となるデータモデルの緊張を理解する必要がある。
より広い視点から見ると、データ効率は正確かつ信頼性の高い機械学習のキーコンポーネントであることを示している。
関連論文リスト
- LESS: Selecting Influential Data for Targeted Instruction Tuning [69.50855460630105]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳(メタデータ) (2024-02-06T19:18:04Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - Decentralized Learning with Multi-Headed Distillation [12.90857834791378]
プライベートデータによる分散学習は、機械学習の中心的な問題である。
本研究では, 個別の非IDデータを持つ複数のエージェントが相互に学習できる, 蒸留に基づく分散学習手法を提案する。
論文 参考訳(メタデータ) (2022-11-28T21:01:43Z) - Adaptive Sampling Strategies to Construct Equitable Training Datasets [0.7036032466145111]
コンピュータビジョンから自然言語処理までの領域では、機械学習モデルがスタークの相違を示すことが示されている。
これらのパフォーマンスギャップに寄与する要因の1つは、モデルがトレーニングしたデータに表現力の欠如である。
公平なトレーニングデータセットを作成する際の問題を形式化し、この問題に対処するための統計的枠組みを提案する。
論文 参考訳(メタデータ) (2022-01-31T19:19:30Z) - Representation Matters: Assessing the Importance of Subgroup Allocations
in Training Data [85.43008636875345]
訓練データにおける多様な表現は,サブグループのパフォーマンス向上と集団レベルの目標達成の鍵である。
分析と実験は、データセット構成がパフォーマンスにどのように影響するかを説明し、既存のデータにおけるトレンドとドメイン知識を用いて、意図的かつ客観的なデータセット設計を導くのに役立つ構成結果を提供する。
論文 参考訳(メタデータ) (2021-03-05T00:27:08Z) - SelfHAR: Improving Human Activity Recognition through Self-training with
Unlabeled Data [9.270269467155547]
SelfHARは、ラベルなしデータセットを利用して小さなラベル付きデータセットを補完する半教師付きモデルである。
提案手法は教師による自己学習と,ラベル付きデータセットとラベル付きデータセットの知識を融合する。
SelfHARはデータ効率が高く、教師付きアプローチの10倍のラベル付きデータを使用して、同様のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-02-11T15:40:35Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳(メタデータ) (2021-02-09T20:28:35Z) - Data Impressions: Mining Deep Models to Extract Samples for Data-free
Applications [26.48630545028405]
データインプレッションはトレーニングデータのプロキシとして機能し、さまざまなタスクを実現するために使用することができる。
いくつかのコンピュータビジョンタスクにおけるデータインプレッションの適用性を示す。
論文 参考訳(メタデータ) (2021-01-15T11:37:29Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳(メタデータ) (2020-05-25T12:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。