論文の概要: Gradient Sketches for Training Data Attribution and Studying the Loss
Landscape
- arxiv url: http://arxiv.org/abs/2402.03994v1
- Date: Tue, 6 Feb 2024 13:47:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 14:41:51.479047
- Title: Gradient Sketches for Training Data Attribution and Studying the Loss
Landscape
- Title(参考訳): データの帰属訓練のための勾配スケッチとロスランドスケープの研究
- Authors: Andrea Schioppa
- Abstract要約: 勾配とヘッセンベクトル積のスケッチは、そのようなベクトルを多く保存する必要があるアプリケーションにおいて重要な役割を果たす。
ニューラルネットワークの本質的な次元の研究により、スケーラブルなスケッチアルゴリズムの設計空間を提案し、研究する。
- 参考スコア(独自算出の注目度): 1.3325600043256554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Random projections or sketches of gradients and Hessian vector products play
an essential role in applications where one needs to store many such vectors
while retaining accurate information about their relative geometry. Two
important scenarios are training data attribution (tracing a model's behavior
to the training data), where one needs to store a gradient for each training
example, and the study of the spectrum of the Hessian (to analyze the training
dynamics), where one needs to store multiple Hessian vector products. While
sketches that use dense matrices are easy to implement, they are memory bound
and cannot be scaled to modern neural networks. Motivated by work on the
intrinsic dimension of neural networks, we propose and study a design space for
scalable sketching algorithms. We demonstrate the efficacy of our approach in
three applications: training data attribution, the analysis of the Hessian
spectrum and the computation of the intrinsic dimension when fine-tuning
pre-trained language models.
- Abstract(参考訳): 勾配やヘッセンベクトル積のランダム射影やスケッチは、相対幾何学に関する正確な情報を保持しながら多くのベクトルを保存する必要があるアプリケーションにおいて重要な役割を果たす。
2つの重要なシナリオは、トレーニングデータアトリビューション(モデルの振る舞いをトレーニングデータにトラクシングする)、各トレーニング例の勾配を格納する必要があること、複数のヘッシアンベクトル積を格納する必要があるヘッシアンスペクトルの研究(トレーニングダイナミクスを分析するため)である。
密度の高い行列を使用するスケッチは実装が容易だが、メモリバウンドであり、現代のニューラルネットワークにはスケールできない。
ニューラルネットワークの固有次元の研究に動機づけられ,スケーラブルなスケッチアルゴリズムの設計空間を提案・検討した。
提案手法の有効性を3つの応用として, 学習データ属性, ヘッセンスペクトルの解析, 学習前言語モデルにおける固有次元の計算に適用した。
関連論文リスト
- Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - TRAK: Attributing Model Behavior at Scale [79.56020040993947]
本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
論文 参考訳(メタデータ) (2023-03-24T17:56:22Z) - Semi-Supervised Adversarial Recognition of Refined Window Structures for
Inverse Procedural Fa\c{c}ade Modeling [17.62526990262815]
本稿では,逆手続きモデルに組み込んだ半教師付き対角認識戦略を提案する。
既存の3Dモデリングソフトウェアの内部に、単純なプロシージャエンジンが構築され、きめ細かい窓のジオメトリが生成される。
公開されているファサード画像データセットを用いた実験により、提案したトレーニング戦略により、分類精度が約10%向上できることが判明した。
論文 参考訳(メタデータ) (2022-01-22T06:34:48Z) - Leveraging Unsupervised Image Registration for Discovery of Landmark
Shape Descriptor [5.40076482533193]
本稿では,画像からランドマークを発見するための自己教師型深層学習手法を提案する。
我々は、ランドマーク駆動のイメージ登録を主要なタスクとして使用し、ニューラルネットワークにイメージを適切に登録するランドマークを見つけるように強制する。
提案手法は分割と前処理を回避し、2D画像や3D画像のみを用いて使用可能な形状記述子を直接生成する。
論文 参考訳(メタデータ) (2021-11-13T01:02:10Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳(メタデータ) (2021-08-30T19:45:07Z) - DeepSatData: Building large scale datasets of satellite images for
training machine learning models [77.17638664503215]
本稿では,機械学習モデルの学習のための衛星画像データセットの自動生成のための設計検討を行う。
本稿では,ニューラルネットワークの深層学習と評価の観点から直面する課題について論じる。
論文 参考訳(メタデータ) (2021-04-28T15:13:12Z) - TSGCNet: Discriminative Geometric Feature Learning with Two-Stream
GraphConvolutional Network for 3D Dental Model Segmentation [141.2690520327948]
2流グラフ畳み込みネットワーク(TSGCNet)を提案し、異なる幾何学的特性から多視点情報を学ぶ。
3次元口腔内スキャナーで得られた歯科モデルのリアルタイムデータセットを用いてTSGCNetの評価を行った。
論文 参考訳(メタデータ) (2020-12-26T08:02:56Z) - Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。
提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。
メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
論文 参考訳(メタデータ) (2020-10-23T14:49:02Z) - A Visual Analytics Framework for Explaining and Diagnosing Transfer
Learning Processes [42.57604833160855]
本稿では,深層ニューラルネットワークの学習における伝達学習プロセスの多段階探索のための視覚分析フレームワークを提案する。
本フレームワークは,ニューラルネットワークの深層学習において,既存のモデルから学習した知識がどのように新たな学習タスクに変換されるかを説明するために,マルチアスペクト設計を確立する。
論文 参考訳(メタデータ) (2020-09-15T05:59:00Z) - A Short Review on Data Modelling for Vector Fields [5.51641435875237]
機械学習手法は、幅広いデータ分析と分析タスクを扱うことに成功している。
近年、ディープニューラルネットワークを用いたエンドツーエンドモデリングスキームの成功により、より高度で構造化された実用的なデータへの拡張が可能になった。
本稿では,ベクトルデータ表現,空間データの予測モデル,コンピュータビジョン,信号処理,経験科学など,最近のベクトル場の計算ツールについて述べる。
論文 参考訳(メタデータ) (2020-09-01T17:07:29Z) - Gradients as Features for Deep Representation Learning [26.996104074384263]
本稿では,事前学習したディープ・ネットワークを様々なタスクに適応させることによって,ディープ・表現学習の課題に対処する。
我々の重要な革新は、事前訓練されたネットワークの勾配と活性化の両方を組み込んだ線形モデルの設計である。
我々は,実際の勾配を計算せずに,モデルのトレーニングと推論を効率的に行うアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-04-12T02:57:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。