論文の概要: FisherMask: Enhancing Neural Network Labeling Efficiency in Image Classification Using Fisher Information

• arxiv url: http://arxiv.org/abs/2411.05752v1
• Date: Fri, 08 Nov 2024 18:10:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:56:02.243674
• Title: FisherMask: Enhancing Neural Network Labeling Efficiency in Image Classification Using Fisher Information
• Title（参考訳）: FisherMask: 画像分類におけるニューラルネットワークラベルの効率向上
• Authors: Shreen Gul, Mohamed Elmahallawy, Sanjay Madria, Ardhendu Tripathy,
• Abstract要約: FisherMaskはFisher情報に基づくアクティブラーニング(AL)アプローチで、主要なネットワークパラメータをマスキングすることで識別する。 実験の結果,FisherMaskは多様なデータセット上で最先端の手法を著しく上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 2.762397703396293
• License:
• Abstract: Deep learning (DL) models are popular across various domains due to their remarkable performance and efficiency. However, their effectiveness relies heavily on large amounts of labeled data, which are often time-consuming and labor-intensive to generate manually. To overcome this challenge, it is essential to develop strategies that reduce reliance on extensive labeled data while preserving model performance. In this paper, we propose FisherMask, a Fisher information-based active learning (AL) approach that identifies key network parameters by masking them based on their Fisher information values. FisherMask enhances batch AL by using Fisher information to select the most critical parameters, allowing the identification of the most impactful samples during AL training. Moreover, Fisher information possesses favorable statistical properties, offering valuable insights into model behavior and providing a better understanding of the performance characteristics within the AL pipeline. Our extensive experiments demonstrate that FisherMask significantly outperforms state-of-the-art methods on diverse datasets, including CIFAR-10 and FashionMNIST, especially under imbalanced settings. These improvements lead to substantial gains in labeling efficiency. Hence serving as an effective tool to measure the sensitivity of model parameters to data samples. Our code is available on \url{https://github.com/sgchr273/FisherMask}.
• Abstract（参考訳）: ディープラーニング(DL)モデルは、その顕著なパフォーマンスと効率のために、さまざまな領域で人気がある。 しかし、その効果は大量のラベル付きデータに大きく依存しており、手動でデータを生成するのに時間を要することも多い。 この課題を克服するためには、モデル性能を維持しながら、広範囲なラベル付きデータへの依存を減らす戦略を開発することが不可欠である。 本稿では,フィッシャー情報に基づくアクティブラーニング(AL)手法であるFisherMaskを提案する。 FisherMaskは、Fisher情報を使用して最も重要なパラメータを選択することでバッチALを強化し、ALトレーニング中に最も影響のあるサンプルを識別する。 さらに、フィッシャー情報は良好な統計特性を有し、モデル行動に関する貴重な洞察を提供し、ALパイプライン内のパフォーマンス特性をよりよく理解する。 大規模な実験により、FisherMaskはCIFAR-10やFashionMNISTなど、さまざまなデータセット上で、特に不均衡な設定下で、最先端の手法を大幅に上回っていることが示された。 これらの改善により、ラベリング効率が大幅に向上する。 したがって、データサンプルに対するモデルパラメータの感度を測定する効果的なツールとして機能する。 私たちのコードは \url{https://github.com/sgchr273/FisherMask} で利用可能です。

関連論文リスト

• Fast Fishing: Approximating BAIT for Efficient and Scalable Deep Active Image Classification [1.8567173419246403]
  Deep Active Learning (AL)は、ディープニューラルネットワークのトレーニングに要するアノテーションコストを最小限にすることを目指している。 Fisher Informationをベースにした最近提案されたAL戦略であるBAITは、さまざまなデータセットで素晴らしいパフォーマンスを示している。 本稿では,BAITの計算効率とスケーラビリティを向上する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-13T12:09:37Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Unlearning with Fisher Masking [20.763692349949245]
  Machine Unlearningは、ユーザやモデル開発者、管理者からの要求に応じて、学習後にトレーニングデータを無効にすることを目的としている。 従来のほとんどのメソッドは直接微調整に基づいており、データを完全に削除したり、残余データに完全なパフォーマンスを保持することもできない。 我々は,フィッシャー情報に基づくアンラーニングに適した新しいマスキング戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-09T01:24:06Z)
• DataInf: Efficiently Estimating Data Influence in LoRA-tuned LLMs and Diffusion Models [31.65198592956842]
  本稿では,大規模生成AIモデルに有効な効率的な影響近似手法であるDataInfを提案する。 理論的解析により,DataInfはLoRAのようなパラメータ効率のよい微調整技術に特に適していることが示された。 RoBERTa-large、Llama-2-13B-chat、stable-diffusion-v1.5モデルへの適用において、DataInfは、他の近似影響スコアよりも、最も影響力のある微調整例を効果的に識別する。
  論文  参考訳（メタデータ） (2023-10-02T04:59:19Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Measuring Data Leakage in Machine-Learning Models with Fisher Information [35.20523017255285]
  機械学習モデルには、トレーニングしたデータに関する情報が含まれている。 この情報はモデル自身あるいはモデルによる予測を通じてリークする。 本稿では,データに関するモデルのフィッシャー情報を用いて,この漏洩を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-23T13:02:34Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。