論文の概要: Slowing Learning by Erasing Simple Features

• arxiv url: http://arxiv.org/abs/2502.02820v1
• Date: Wed, 05 Feb 2025 01:42:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:27:04.874517
• Title: Slowing Learning by Erasing Simple Features
• Title（参考訳）: 簡単な特徴の消去によるスローング学習
• Authors: Lucia Quirke, Nora Belrose,
• Abstract要約: そこで我々は,新しいクローズドフォーム概念消去手法であるQLEACEを考案した。 LEACEは学習を継続的に遅くするが、二次消去はデータセット、モデルアーキテクチャ、消去方法に依存する学習速度に正と負の両方の効果を示す。
• 参考スコア（独自算出の注目度）: 0.7234862895932991
• License:
• Abstract: Prior work suggests that neural networks tend to learn low-order moments of the data distribution first, before moving on to higher-order correlations. In this work, we derive a novel closed-form concept erasure method, QLEACE, which surgically removes all quadratically available information about a concept from a representation. Through comparisons with linear erasure (LEACE) and two approximate forms of quadratic erasure, we explore whether networks can still learn when low-order statistics are removed from image classification datasets. We find that while LEACE consistently slows learning, quadratic erasure can exhibit both positive and negative effects on learning speed depending on the choice of dataset, model architecture, and erasure method. Use of QLEACE consistently slows learning in feedforward architectures, but more sophisticated architectures learn to use injected higher order Shannon information about class labels. Its approximate variants avoid injecting information, but surprisingly act as data augmentation techniques on some datasets, enhancing learning speed compared to LEACE.
• Abstract（参考訳）: 以前の研究は、ニューラルネットワークがまずデータ分散の低次モーメントを学習し、次に高次相関に移行する傾向があることを示唆していた。 本研究では,新しいクローズドフォーム概念消去手法であるQLEACEを考案した。 線形消去(LEACE)と2つの近似形式の2次消去との比較により,画像分類データセットから低次統計が除去された時点でネットワークが学習可能であるかを検討する。 LEACEは学習を継続的に遅くするが、二次消去はデータセット、モデルアーキテクチャ、消去方法の選択に応じて学習速度に正と負の両方の効果を示す。 QLEACEの使用はフィードフォワードアーキテクチャでの学習を継続的に遅くするが、より洗練されたアーキテクチャはクラスラベルに関するより高階のシャノン情報を使用することを学ぶ。 その近似的な変種は、情報を注入することを避けるが、驚くべきことに、いくつかのデータセットでデータ拡張技術として機能し、LEACEと比較して学習速度を向上する。

関連論文リスト

• Not Everything is All You Need: Toward Low-Redundant Optimization for Large Language Model Alignment [126.34547428473968]
  大規模言語モデル(LLM)は、複雑なタスクやシナリオにおいて、人間の好みに合わせるのに依然として苦労しています。 我々は、最も有用な教師付き信号を用いて、最も関連性の高いニューロンを最適化することに焦点を当てた、textbfALLOという低輝度アライメント手法を提案する。 10個のデータセットに対する実験結果から、ALLOの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-18T13:34:40Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
  情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。 本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
  論文  参考訳（メタデータ） (2023-03-10T18:31:50Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Terrain Classification using Transfer Learning on Hyperspectral Images: A Comparative study [0.13999481573773068]
  畳み込みニューラルネットワーク(CNN)とMulti-Layer Perceptron(MLP)は画像分類の有効な方法であることが証明されている。 しかし、彼らは長いトレーニング時間と大量のラベル付きデータの要求の問題に悩まされている。 本稿では,移動学習法を用いてトレーニング時間を短縮し,大規模ラベル付きデータセットへの依存を減らすことを提案する。
  論文  参考訳（メタデータ） (2022-06-19T14:36:33Z)
• Adversarial Graph Contrastive Learning with Information Regularization [51.14695794459399]
  コントラスト学習はグラフ表現学習において有効な方法である。 グラフ上のデータ拡張は、はるかに直感的ではなく、高品質のコントラスト的なサンプルを提供するのがずっと難しい。 逆グラフ比較学習(Adversarial Graph Contrastive Learning, ARIEL)を提案する。 さまざまな実世界のデータセット上でのノード分類タスクにおいて、現在のグラフのコントラスト学習方法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2022-02-14T05:54:48Z)
• Representation Memorization for Fast Learning New Knowledge without Forgetting [36.55736909586313]
  新しい知識を素早く学習する能力は、人間レベルの知性への大きな一歩だ。 新しいクラスやデータ配布を迅速かつ漸進的に学ぶ必要があるシナリオを考えます。 本稿では,2つの課題に対処するため,メモリベースのヘビアン適応を提案する。
  論文  参考訳（メタデータ） (2021-08-28T07:54:53Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Incremental Learning via Rate Reduction [26.323357617265163]
  現在のディープラーニングアーキテクチャは、破滅的な忘れ込みに悩まされており、新しいクラスで漸進的にトレーニングされた時に、以前に学習したクラスの知識を保持することができません。 本稿では,ネットワークの各層をバック伝搬なしで明示的に計算する,レート低減の原理から導かれる代替の「ホワイトボックス」アーキテクチャを提案する。 このパラダイムの下では、事前訓練されたネットワークと新しいデータクラスが与えられた場合、我々のアプローチは、すべての過去のクラスと新しいクラスとの共同トレーニングをエミュレートする新しいネットワークを構築することができることを示す。
  論文  参考訳（メタデータ） (2020-11-30T07:23:55Z)
• Learning and Exploiting Interclass Visual Correlations for Medical Image Classification [30.88175218665726]
  本稿では、クラス相関学習ネットワーク(CCL-Net)を提案し、与えられたトレーニングデータからクラス間の視覚的相関を学習する。 ネットワークが望ましい相関関係を直接学習させる代わりに,クラス固有の埋め込みの距離メートル法学習を通じて暗黙的に学習することを提案する。 相関関係の幾何学的説明に基づく直感的損失は、クラス間の相関関係の学習を促進するために設計されている。
  論文  参考訳（メタデータ） (2020-07-13T13:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。