論文の概要: GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution

• arxiv url: http://arxiv.org/abs/2606.06892v1
• Date: Fri, 05 Jun 2026 04:17:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.561545
• Title: GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution
• Title（参考訳）: GRASP: スケーラブルな事前トレーニングデータ属性のためのジオメトリ対応残留アライメント
• Authors: Yue Min, Ruining Chen, Yujun Li,
• Abstract要約: この研究は、属性をサブセットレベルの反事実的ユーティリティ予測として再定義する。 相互作用を意識したサロゲートであるGRASPを紹介する。 それは、既存のスケーラブルなベースラインを決定的に上回る。
• 参考スコア（独自算出の注目度）: 5.770893169582546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scalable data attribution methods typically assign isolated utility scores to individual training examples. This prevalent additive assumption fundamentally fails to capture critical subset dynamics, including data redundancy and complementary coverage. In this work, we reframe attribution as subset-level counterfactual utility prediction and introduce GRASP, an interaction-aware surrogate. Grounded in a theoretical smoothness lower bound, GRASP explicitly models subset interactions through a quadratic geometric penalty. To achieve pretraining-scale efficiency without relying on hidden oracle tuning, we couple low-dimensional feature sketches with a strictly finite lower-confidence bound selection protocol. Extensive subset-retraining evaluations demonstrate that GRASP decisively outperforms existing scalable baselines. It more than doubles the task-level rank correlation for counterfactual subset fidelity while reducing upfront artifact construction costs by nearly an order of magnitude. Downstream diagnostics further show that this scoring mechanism transfers to language model curation and cross-domain vision selection, establishing a robust foundation for optimizing massive pretraining corpora.
• Abstract（参考訳）: スケーラブルなデータ属性メソッドは通常、個別のトレーニング例に独立したユーティリティスコアを割り当てる。 この一般的な加法的仮定は、データ冗長性や補完的カバレッジを含む重要なサブセットのダイナミクスを捉えるのに基本的に失敗する。 本研究では,アトリビューションをサブセットレベルの反現実的ユーティリティ予測として再編成し,対話対応サロゲートであるGRASPを導入する。 GRASP は理論的な滑らかさの下界に基礎を置き、二次幾何学的ペナルティを通した部分集合の相互作用を明示的にモデル化する。 隠れオラクルチューニングに頼らずに事前学習スケール効率を達成するために, 厳密な低信頼境界選択プロトコルと低次元特徴スケッチを結合する。 大規模なサブセット規制評価は、GRASPが既存のスケーラブルなベースラインを決定的に上回っていることを示している。 本手法は, ファクト・サブセットの忠実度に対するタスクレベル・ランクの相関を2倍以上にし, 先行工事コストを約1桁削減する。 下流診断では、このスコアリング機構が言語モデルキュレーションやドメイン間視覚選択に移行し、大規模な事前学習コーパスを最適化するための堅牢な基盤を確立することが示されている。

関連論文リスト

• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• Evaluating the Efficiency of Latent Spaces via the Coupling-Matrix [0.5013248430919224]
  本稿では,次元間の依存関係を直接定量化する冗長指数rho(C)を導入する。 低rho(C)は高い分類精度または低い再構成誤差を確実に予測する一方、高い冗長性は性能崩壊と関連付けられる。 木構造型Parzen Estimator (TPE) は低ロー領域を優先的に探索し,rho(C) がニューラルアーキテクチャ探索を誘導し,冗長性を考慮した正規化ターゲットとして機能することを示唆する。
  論文  参考訳（メタデータ） (2025-09-08T03:36:47Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Predict, Cluster, Refine: A Joint Embedding Predictive Self-Supervised Framework for Graph Representation Learning [0.0]
  グラフ表現学習は、ノード分類やリンク予測といったタスクの基盤として登場した。 現在の自己教師付き学習(SSL)手法は、計算の非効率性、対照的な目的への依存、表現の崩壊といった課題に直面している。 本稿では,意味情報と構造情報を保存しながら,対照的な目的と負のサンプリングを排除したグラフSSLのための新しい結合埋め込み予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-02T07:42:45Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• PCPL: Predicate-Correlation Perception Learning for Unbiased Scene Graph Generation [58.98802062945709]
  本稿では,適切な損失重みを適応的に求めるための新しい述語相関知覚学習手法を提案する。 我々のPCPLフレームワークは、文脈特徴をよりよく抽出するグラフエンコーダモジュールも備えています。
  論文  参考訳（メタデータ） (2020-09-02T08:30:09Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。