論文の概要: Influence Diagnostics in High-dimensional M-estimation: Precise Asymptotics

• arxiv url: http://arxiv.org/abs/2607.09250v1
• Date: Fri, 10 Jul 2026 10:01:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.81827
• Title: Influence Diagnostics in High-dimensional M-estimation: Precise Asymptotics
• Title（参考訳）: 高次元M推定における影響診断:精密漸近
• Abstract要約: トレーニングセット全体における影響の分布は、私たちが強く特徴づける制限尺度に収束することを示す。 本研究は,有効なサンプルが決定境界に近い傾向にあり,アクティブラーニングにおける標準データ選択と接触することを示す。
• 参考スコア（独自算出の注目度）: 9.38533191255212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The impact of a given training point on a statistical model is classically measured through its leave-one-out influence, which quantifies the effect of its removal from the training set on the model accuracy. While the statistics of leave-one-out influences are well understood in the low-dimensional, large sample limit $n\to \infty, d=O(1)$, they become more intricate in high dimensions, as the influence of a given sample develops non-trivial dependencies on all other training samples. For convex M-estimation under Gaussian design, in the high-dimensional limit $n\asymp d$, we show that the distribution of the influences across the training set converges to a limiting measure which we sharply characterize. Building on these results, we provide evidence that influential samples tend to lie close to the decision boundary, thereby making contact with a standard data selection heuristic in active learning.
• Abstract（参考訳）: 与えられたトレーニングポイントが統計モデルに与える影響を古典的に測定し、トレーニングセットからの除去がモデル精度に与える影響を定量化する。 残余の影響の統計は低次元の標本極限$n\to \infty, d=O(1)$でよく理解されているが、与えられたサンプルの影響が他のすべてのトレーニングサンプルへの非自明な依存を発達させるため、高次元ではより複雑になる。 ガウス設計の下での凸 M-推定について、高次元極限$n\asymp d$ において、トレーニングセット全体の影響の分布が、我々が鋭く特徴づける極限測度に収束することを示す。 これらの結果に基づいて, 影響力のあるサンプルが決定境界に近い傾向にあり, アクティブラーニングにおける標準データ選択ヒューリスティックに接触することを示す。

関連論文リスト

• Z0-Inf: Zeroth Order Approximation for Data Influence [47.682602051124235]
  トレーニングデータの影響を推定するための高効率ゼロ階近似を導入する。 提案手法は, 微調整された大規模言語モデルに対して, 自己影響を推定し, 列車試験の影響を推定する上で, 自己影響を推定する上で優れた精度を実現する。
  論文  参考訳（メタデータ） (2025-10-13T18:30:37Z)
• Efficient Data Selection at Scale via Influence Distillation [53.03573620682107]
  本稿では,データ選択のための数学的に修飾されたフレームワークであるインフルエンス蒸留を紹介する。 対象分布に対する各試料の影響を蒸留することにより,トレーニングデータの選択に使用されるモデル固有の重みを割り当てる。 実験の結果、蒸留の影響は最先端のパフォーマンスに匹敵し、最大3.5タイムの高速選択を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-05-25T09:08:00Z)
• DMin: Scalable Training Data Influence Estimation for Diffusion Models [18.87514286635854]
  DMinは、与えられた生成された画像に対するトレーニングデータサンプルの影響を推定するフレームワークである。 数十億のパラメータを持つDMの推定に影響を及ぼす最初の方法である。 ストレージ要件を数百 TB から MB あるいは KB まで削減し,最も影響力のあるトレーニングサンプルを 1 秒以内で取得する。
  論文  参考訳（メタデータ） (2024-12-11T18:58:40Z)
• Most Influential Subset Selection: Challenges, Promises, and Beyond [9.479235005673683]
  我々は,最も集団的影響の大きいトレーニングサンプルのサブセットを特定することを目的とした,MISS(Most Influential Subset Selection)問題について検討する。 我々は、MISにおける一般的なアプローチを包括的に分析し、その強みと弱点を解明する。 本稿では,これらを反復的に適用した適応バージョンが,試料間の相互作用を効果的に捕捉できることを実証する。
  論文  参考訳（メタデータ） (2024-09-25T20:00:23Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models [24.073260299592675]
  本稿では,影響関数と外乱勾配検出による有害トレーニングサンプルの同定とを橋渡しする。 まず, 合成データセットにおける外乱勾配解析手法の仮説を検証した。 次に、視覚モデルにおける誤ラベルサンプルの検出と、自然言語処理トランスフォーマーモデルの性能向上のためのデータサンプル選択の有効性を示す。
  論文  参考訳（メタデータ） (2024-05-06T21:34:46Z)
• The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes [30.30769701138665]
  我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。 具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。 トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-14T03:43:05Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• A Model-free Closeness-of-influence Test for Features in Supervised Learning [23.345517302581044]
  本研究では,2つの特徴が応答値に与える影響の差について検討する。 まず、特徴の影響に対する近接性の概念を提案し、この定義がモデルにおける係数の大きさに関するよく知られた概念を回復させることを示す。 そこで本研究では,モデルなし教師あり学習問題における影響の近接性をテストする新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-20T19:20:18Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。