Fugu-MT 論文翻訳(概要): Efficient Sketches for Training Data Attribution and Studying the Loss Landscape

論文の概要: Efficient Sketches for Training Data Attribution and Studying the Loss Landscape

arxiv url: http://arxiv.org/abs/2402.03994v2
Date: Wed, 23 Oct 2024 13:44:08 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-25 16:43:22.951631
Title: Efficient Sketches for Training Data Attribution and Studying the Loss Landscape
Title（参考訳）: データ属性の学習と損失景観の学習に有効なケッチ
Authors: Andrea Schioppa,
Abstract要約: 本稿では,スケーラブルな勾配とHVPスケッチのための新しいフレームワークを提案する。我々の研究は、事前訓練された言語モデルの振る舞いに新たな光を当て、本質的な次元性やヘッセン性に関する仮定に挑戦する。
参考スコア（独自算出の注目度）: 1.3325600043256554
License:
Abstract: The study of modern machine learning models often necessitates storing vast quantities of gradients or Hessian vector products (HVPs). Traditional sketching methods struggle to scale under these memory constraints. We present a novel framework for scalable gradient and HVP sketching, tailored for modern hardware. We provide theoretical guarantees and demonstrate the power of our methods in applications like training data attribution, Hessian spectrum analysis, and intrinsic dimension computation for pre-trained language models. Our work sheds new light on the behavior of pre-trained language models, challenging assumptions about their intrinsic dimensionality and Hessian properties.
Abstract（参考訳）: 現代の機械学習モデルの研究は、しばしば大量の勾配やヘッセンベクトル積(HVP)を保存する必要がある。従来のスケッチ手法は、これらのメモリ制約下でのスケーリングに苦労する。本稿では,拡張性のある勾配とHVPスケッチのための新しいフレームワークを提案する。我々は,事前学習言語モデルに対する学習データ属性,ヘッセンスペクトル分析,本質的な次元計算などの応用において,提案手法の理論的保証と効果を実証する。我々の研究は、事前訓練された言語モデルの振る舞いに新たな光を当て、本質的な次元性とヘッセン性に関する仮定に挑戦する。

関連論文リスト

Training Spatial-Frequency Visual Prompts and Probabilistic Clusters for Accurate Black-Box Transfer Learning [35.72926400167876]
そこで本研究では,ブラックボックス環境における視覚認識モデルのためのパラメータ効率変換学習フレームワークを提案する。実験では,広範囲な視覚認識データセットにまたがる数ショットの移動学習環境において,優れた性能を示す。
論文参考訳（メタデータ） (2024-08-15T05:35:52Z)
Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
論文参考訳（メタデータ） (2024-07-09T15:45:04Z)
Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文参考訳（メタデータ） (2024-06-06T17:59:09Z)
SCorP: Statistics-Informed Dense Correspondence Prediction Directly from Unsegmented Medical Images [5.507868474642766]
SCorPは,非分割画像から直接表面上の対応を予測できる新しいフレームワークである。提案モデルでは,対応予測タスクの監督を取り除き,トレーニングフェーズと推論フェーズを合理化する。
論文参考訳（メタデータ） (2024-04-27T17:56:58Z)
Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文参考訳（メタデータ） (2024-02-07T13:41:53Z)
Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文参考訳（メタデータ） (2023-12-07T07:17:24Z)
Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
$textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
論文参考訳（メタデータ） (2023-10-05T03:40:06Z)
TRAK: Attributing Model Behavior at Scale [79.56020040993947]
本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
論文参考訳（メタデータ） (2023-03-24T17:56:22Z)
Gradients as Features for Deep Representation Learning [26.996104074384263]
本稿では,事前学習したディープ・ネットワークを様々なタスクに適応させることによって,ディープ・表現学習の課題に対処する。我々の重要な革新は、事前訓練されたネットワークの勾配と活性化の両方を組み込んだ線形モデルの設計である。我々は,実際の勾配を計算せずに,モデルのトレーニングと推論を効率的に行うアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-04-12T02:57:28Z)
Gradient-Based Training and Pruning of Radial Basis Function Networks with an Application in Materials Physics [0.24792948967354234]
本稿では,高速かつスケーラブルなオープンソース実装による放射状基底関数ネットワークのトレーニング手法を提案する。連立データと連立データのモデル解析のための新しいクローズドフォーム最適化基準を導出する。
論文参考訳（メタデータ） (2020-04-06T11:32:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。