論文の概要: Learnability of Learning Performance and Its Application to Data
Valuation
- arxiv url: http://arxiv.org/abs/2107.06336v1
- Date: Tue, 13 Jul 2021 18:56:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-15 14:16:20.198831
- Title: Learnability of Learning Performance and Its Application to Data
Valuation
- Title(参考訳): 学習性能の学習可能性とデータ評価への応用
- Authors: Tianhao Wang, Yu Yang, Ruoxi Jia
- Abstract要約: ほとんどの機械学習(ML)タスクでは、与えられたデータセットで学習パフォーマンスを評価するには、集中的な計算が必要である。
学習性能を効率的に推定する能力は、アクティブラーニング、データ品質管理、データバリュエーションといった幅広いアプリケーションに恩恵をもたらす可能性がある。
最近の実証研究では、多くの一般的なMLモデルに対して、少量のサンプルを用いて任意の入力データセットの学習性能を予測するパラメトリックモデルを正確に学習できることが示されている。
- 参考スコア(独自算出の注目度): 11.78594243870616
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For most machine learning (ML) tasks, evaluating learning performance on a
given dataset requires intensive computation. On the other hand, the ability to
efficiently estimate learning performance may benefit a wide spectrum of
applications, such as active learning, data quality management, and data
valuation. Recent empirical studies show that for many common ML models, one
can accurately learn a parametric model that predicts learning performance for
any given input datasets using a small amount of samples. However, the
theoretical underpinning of the learnability of such performance prediction
models is still missing. In this work, we develop the first theoretical
analysis of the ML performance learning problem. We propose a relaxed notion
for submodularity that can well describe the behavior of learning performance
as a function of input datasets. We give a learning algorithm that achieves a
constant-factor approximation under certain assumptions. Further, we give a
learning algorithm that achieves arbitrarily small error based on a newly
derived structural result. We then discuss a natural, important use case of
learning performance learning -- data valuation, which is known to suffer
computational challenges due to the requirement of estimating learning
performance for many data combinations. We show that performance learning can
significantly improve the accuracy of data valuation.
- Abstract(参考訳): ほとんどの機械学習(ml)タスクでは、与えられたデータセットでの学習性能を評価するには集中的な計算が必要です。
一方、学習性能を効率的に推定する能力は、アクティブラーニング、データ品質管理、データバリュエーションといった幅広いアプリケーションに恩恵をもたらす可能性がある。
最近の実証研究では、多くの一般的なMLモデルに対して、少量のサンプルを用いて任意の入力データセットの学習性能を予測するパラメトリックモデルを正確に学習できることが示されている。
しかし、そのような性能予測モデルの学習可能性の理論的基礎はいまだに欠けている。
本研究では,MLの性能学習問題の理論的解析を初めて行う。
本稿では,入力データセットの関数として学習性能の挙動をうまく記述できる部分モジュラリティの緩和概念を提案する。
一定の仮定の下で定数近似を実現する学習アルゴリズムを与える。
さらに,新たに導出した構造結果に基づいて任意に小さな誤差を発生させる学習アルゴリズムを与える。
次に、多くのデータの組み合わせで学習性能を推定する必要性から計算上の課題に苦しむデータバリュエーションを学習パフォーマンス学習の自然な、重要なユースケースについて論じる。
性能学習はデータのバリュエーションの精度を大幅に向上できることを示す。
関連論文リスト
- Exploring Learning Complexity for Downstream Data Pruning [9.526877053855998]
本稿では,学習複雑性(LC)を分類・回帰タスクのスコアリング機能として扱うことを提案する。
大規模言語モデルの微調整を行うため,本手法は安定収束による最先端性能を実現する。
論文 参考訳(メタデータ) (2024-02-08T02:29:33Z) - Unlearnable Algorithms for In-context Learning [36.895152458323764]
本稿では,事前訓練された大規模言語モデルのタスク適応フェーズに対する効率的なアンラーニング手法に着目した。
タスク適応のための文脈内学習を行うLLMの能力は、タスク適応トレーニングデータの効率的なアンラーニングを可能にする。
本稿では,様々な推論コストを考慮に入れた非学習コストの包括的尺度を提案する。
論文 参考訳(メタデータ) (2024-02-01T16:43:04Z) - Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳(メタデータ) (2024-01-18T08:12:23Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳(メタデータ) (2023-09-11T14:16:37Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳(メタデータ) (2023-06-25T02:39:19Z) - An Entropy-Based Model for Hierarchical Learning [3.1473798197405944]
実世界のデータセットに共通する特徴は、データドメインがマルチスケールであることである。
本稿では,このマルチスケールデータ構造を利用した学習モデルを提案する。
階層的な学習モデルは、人間の論理的かつ進歩的な学習メカニズムにインスパイアされている。
論文 参考訳(メタデータ) (2022-12-30T13:14:46Z) - Towards Robust Dataset Learning [90.2590325441068]
本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。
ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
論文 参考訳(メタデータ) (2022-11-19T17:06:10Z) - Striving for data-model efficiency: Identifying data externalities on
group performance [75.17591306911015]
信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。
我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。
以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
論文 参考訳(メタデータ) (2022-11-11T16:48:27Z) - Benchmarking Learning Efficiency in Deep Reservoir Computing [23.753943709362794]
我々は、機械学習モデルがトレーニングデータからいかに早く学習するかを測定するために、データ効率の指標とともに、ますます困難なタスクのベンチマークを導入する。
我々は、RNN、LSTM、Transformersなどの確立された逐次教師付きモデルの学習速度を、貯水池計算に基づく比較的知られていない代替モデルと比較する。
論文 参考訳(メタデータ) (2022-09-29T08:16:52Z) - What Makes Good Contrastive Learning on Small-Scale Wearable-based
Tasks? [59.51457877578138]
本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。
本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
論文 参考訳(メタデータ) (2022-02-12T06:10:15Z) - Learning from Mistakes based on Class Weighting with Application to
Neural Architecture Search [12.317568257671427]
ミスからの学習(LFM)という,シンプルで効果的な多段階最適化フレームワークを提案する。
主な目的は、将来の同様のミスを防ぐために、再重み付け技術を用いて、ターゲットタスクで効果的に実行するモデルを訓練することである。
本定式化では,モデルの検証損失を最小限に抑えてクラスウェイトを学習し,クラスワイド性能と実データにより重み付けされた画像生成装置の合成データを用いてモデルを再学習する。
論文 参考訳(メタデータ) (2021-12-01T04:56:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。