論文の概要: Shaping capabilities with token-level data filtering

• arxiv url: http://arxiv.org/abs/2601.21571v1
• Date: Thu, 29 Jan 2026 11:34:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.771229
• Title: Shaping capabilities with token-level data filtering
• Title（参考訳）: トークンレベルのデータフィルタリングによるシェーピング機能
• Authors: Neil Rathi, Alec Radford,
• Abstract要約: 本研究では,事前学習データのフィルタリングを簡易に行うことは,大規模かつ効果的で,堅牢で,安価であることを示す。 データ属性の研究から着想を得た結果,トークンのフィルタリングは文書のフィルタリングよりも効果的であることが判明した。 また,事前学習が十分であれば,フィルタはノイズの多いラベルに対して堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 2.9550001512291044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current approaches to reducing undesired capabilities in language models are largely post hoc, and can thus be easily bypassed by adversaries. A natural alternative is to shape capabilities during pretraining itself. On the proxy task of removing medical capabilities, we show that the simple intervention of filtering pretraining data is highly effective, robust, and inexpensive at scale. Inspired by work on data attribution, we show that filtering tokens is more effective than filtering documents, achieving the same hit to undesired capabilities at a lower cost to benign ones. Training models spanning two orders of magnitude, we then demonstrate that filtering gets more effective with scale: for our largest models, token filtering leads to a 7000x compute slowdown on the forget domain. We also show that models trained with token filtering can still be aligned on the forget domain. Along the way, we introduce a methodology for labeling tokens with sparse autoencoders and distilling cheap, high-quality classifiers. We also demonstrate that filtering can be robust to noisy labels with sufficient pretraining compute.
• Abstract（参考訳）: 言語モデルにおける望ましくない能力を減らすための現在のアプローチは、主にポストホックであり、敵によって容易にバイパスできる。 自然の代替手段は、事前訓練中に能力を形成することである。 医療機能を削除するためのプロキシタスクにおいて、事前学習データのフィルタリングの簡単な介入は、非常に効果的で、堅牢で、大規模に安価であることを示す。 データ属性の研究から着想を得た結果、フィルタリングトークンは文書をフィルタリングするよりも効果的であり、望ましくない機能に対する同じヒットを、良し悪しのコストで達成できることが判明した。 最大のモデルでは、トークンフィルタリングは、左のドメインで7000倍の計算スローダウンにつながる。 また、トークンフィルタリングでトレーニングされたモデルは、なおも forget ドメインにアライメント可能であることも示しています。 その過程で,スパースオートエンコーダによるトークンのラベル付け手法を導入し,安価で高品質な分類器を蒸留する手法を提案する。 また,事前学習が十分であれば,フィルタはノイズの多いラベルに対して堅牢であることを示す。

関連論文リスト

• Understanding the Gain from Data Filtering in Multimodal Contrastive Learning [58.09454096371477]
  本稿では,標準バイモーダルデータ生成モデルの下でのフィルタ付きコントラスト学習の成功例を示す。 教師ベースのフィルタリングの誤差は、大きな$$レジアでは$frac1sqrtn$、小さな$レジアでは$frac1sqrtn$によって上限づけられていることを示す。
  論文  参考訳（メタデータ） (2025-12-16T09:28:38Z)
• Prior-based Noisy Text Data Filtering: Fast and Strong Alternative For Perplexity [16.521507516831097]
  コーパスレベルの項周波数統計量を用いてトークンの先行値を推定する事前データフィルタリング手法を提案する。 PPLの高速プロキシとして,トークン前の平均偏差と標準偏差に基づいて文書をフィルタする手法を提案する。 その単純さにもかかわらず、事前ベースフィルタは、20のダウンストリームベンチマークで最高の平均性能を達成している。
  論文  参考訳（メタデータ） (2025-09-23T02:57:29Z)
• Deep Unlearning: Fast and Efficient Gradient-free Approach to Class Forgetting [9.91998873101083]
  学習モデルから特定のクラスを戦略的に除去する新しいクラスアンラーニングアルゴリズムを提案する。 我々のアルゴリズムは、メンバーシップ推論攻撃(MIA)に対する競争的アンラーニング性能とレジリエンスを示す。
  論文  参考訳（メタデータ） (2023-12-01T18:29:08Z)
• Predicting Token Impact Towards Efficient Vision Transformer [9.349427774462365]
  自己注意の前に無関係なトークンを減らすためのトークンフィルタリングは、効率的な視覚変換を実現するための簡単な方法である。 これは、機能選択の観点からトークンフィルタリングを閲覧する最初の作業であり、一度マスクされた損失をどの程度変えられるかに応じてトークンの重要性を重み付けします。 提案手法は, バックボーンを微調整により最適化した後, 光重み付きモデルに効率よくアプローチする方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T07:44:16Z)
• Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
  本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
  論文  参考訳（メタデータ） (2021-09-20T06:07:14Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters [64.46270549587004]
  畳み込みニューラルネットワーク(CNN)は、様々なタスクでうまく使われている。 CNNは、しばしば「ブラックボックス」と解釈可能性の欠如とみなされる。 本稿では,クラス固有のフィルタを奨励することで,解釈可能なCNNを訓練する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-16T09:12:26Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。