論文の概要: Advancing Deep Active Learning & Data Subset Selection: Unifying Principles with Information-Theory Intuitions

• arxiv url: http://arxiv.org/abs/2401.04305v1
• Date: Tue, 9 Jan 2024 01:41:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 17:15:24.697464
• Title: Advancing Deep Active Learning & Data Subset Selection: Unifying Principles with Information-Theory Intuitions
• Title（参考訳）: 深層アクティブラーニングとデータサブセット選択の進歩:情報理論直観による統一原則
• Authors: Andreas Kirsch
• Abstract要約: 本論文は,ディープラーニングモデルのラベルとトレーニング効率を向上させることにより,ディープラーニングの実践性を高めることを目的とする。 本稿では,情報理論の原理に基づくデータサブセット選択手法,特にアクティブラーニングとアクティブサンプリングについて検討する。
• 参考スコア（独自算出の注目度）: 3.0539022029583953
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: At its core, this thesis aims to enhance the practicality of deep learning by improving the label and training efficiency of deep learning models. To this end, we investigate data subset selection techniques, specifically active learning and active sampling, grounded in information-theoretic principles. Active learning improves label efficiency, while active sampling enhances training efficiency. Supervised deep learning models often require extensive training with labeled data. Label acquisition can be expensive and time-consuming, and training large models is resource-intensive, hindering the adoption outside academic research and ``big tech.'' Existing methods for data subset selection in deep learning often rely on heuristics or lack a principled information-theoretic foundation. In contrast, this thesis examines several objectives for data subset selection and their applications within deep learning, striving for a more principled approach inspired by information theory. We begin by disentangling epistemic and aleatoric uncertainty in single forward-pass deep neural networks, which provides helpful intuitions and insights into different forms of uncertainty and their relevance for data subset selection. We then propose and investigate various approaches for active learning and data subset selection in (Bayesian) deep learning. Finally, we relate various existing and proposed approaches to approximations of information quantities in weight or prediction space. Underpinning this work is a principled and practical notation for information-theoretic quantities that includes both random variables and observed outcomes. This thesis demonstrates the benefits of working from a unified perspective and highlights the potential impact of our contributions to the practical application of deep learning.
• Abstract（参考訳）: 本論文は,深層学習モデルのラベルと訓練効率を向上させることにより,深層学習の実践性を高めることを目的としている。 そこで本研究では,データサブセット選択手法,特に情報理論に基づくアクティブラーニングとアクティブサンプリングについて検討する。 アクティブ学習はラベル効率が向上し、アクティブサンプリングはトレーニング効率が向上する。 監視されたディープラーニングモデルは、ラベル付きデータによる広範なトレーニングを必要とすることが多い。 ラベル取得は高価で時間を要するため、大規模モデルのトレーニングはリソース集約的であり、学術研究以外での採用を妨げる。 「深層学習におけるデータサブセット選択のための既存の手法は、しばしばヒューリスティックスに依存したり、原理的な情報理論の基礎を欠いている。 対照的に、本論文は、情報理論に触発されたより原理的なアプローチを追求する深層学習におけるデータサブセット選択とその応用に関するいくつかの目的を考察する。 まず、単一のフォワードパスディープニューラルネットワークにおいて、疫学的およびアレタリックな不確実性を取り除き、様々な形の不確実性とそのデータサブセット選択との関連性に関する有用な直観と洞察を提供する。 次に,(ベイジアン)深層学習におけるアクティブラーニングとデータサブセット選択のための様々なアプローチを提案し,検討する。 最後に,重みや予測空間における情報量近似に対する様々な既存および提案手法について述べる。 この研究の根底にあるのは、ランダム変数と観測結果の両方を含む情報理論量の原則的で実践的な表記である。 この論文は、統一的な視点から働くことの利点を示し、深層学習の実践的応用への私たちの貢献の潜在的影響を強調している。

関連論文リスト

• Continual Learning on a Data Diet [3.73232466691291]
  連続学習(CL)メソッドは通常、利用可能なすべてのデータから学習する。 データセット内のすべてのデータポイントが同等のポテンシャルを持つわけではない。 この格差は、サンプルの品質と量の両方がモデルの一般化性と効率に直接影響を及ぼすので、性能に大きな影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2024-10-23T09:42:17Z)
• Granularity Matters in Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Frugal Reinforcement-based Active Learning [12.18340575383456]
  本稿では,ラベル効率向上のための新しい能動的学習手法を提案する。 提案手法は反復的であり,多様性,表現性,不確実性の基準を混合した制約対象関数の最小化を目的としている。 また、強化学習に基づく新たな重み付け機構を導入し、各トレーニングイテレーションでこれらの基準を適応的にバランスさせる。
  論文  参考訳（メタデータ） (2022-12-09T14:17:45Z)
• Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
  我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。 まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。 トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
  論文  参考訳（メタデータ） (2022-11-24T13:18:27Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Deep Active Learning by Leveraging Training Dynamics [57.95155565319465]
  本稿では,学習力学を最大化するためにサンプルを選択する理論駆動型深層能動学習法(Dynamical)を提案する。 動的学習は、他のベースラインを一貫して上回るだけでなく、大規模なディープラーニングモデルでもうまくスケール可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-16T16:51:05Z)
• An Empirical Comparison of Deep Learning Models for Knowledge Tracing on Large-Scale Dataset [10.329254031835953]
  知識追跡は、各学生の知識概念の熟達をモデル化する問題である。 最近の大規模学生成績データセット citechoi 2019ednet のリリースは、ディープラーニングアプローチのパフォーマンス分析を動機付けている。
  論文  参考訳（メタデータ） (2021-01-16T04:58:17Z)
• Confident Coreset for Active Learning in Medical Image Analysis [57.436224561482966]
  本稿では,情報的サンプルを効果的に選択するための,不確実性と分散性を考慮した新しい能動的学習手法である信頼コアセットを提案する。 2つの医用画像解析タスクの比較実験により,本手法が他の活動的学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-05T13:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。