論文の概要: Retrieval-Guided Fine-Tuning as Noisy Estimation: Risk bounds and Architectural Analysis

• arxiv url: http://arxiv.org/abs/2609.14485v1
• Date: Sun, 13 Sep 2026 12:51:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.828678
• Title: Retrieval-Guided Fine-Tuning as Noisy Estimation: Risk bounds and Architectural Analysis
• Title（参考訳）: 雑音推定としての検索誘導ファインチューニング:リスク境界と構造解析
• Abstract要約: Retrieval-Guided Fine-Tuning (RAG-FT)は、検索したデータをトレーニング対象に直接組み込むが、トレーニング中のノイズ検索の統計的結果は理論的には不十分である。 RAG-FTが目標と全コーパスの両方のトレーニングよりも低いリスクを達成できる明示的な有限サンプル条件を導出する。 我々は、注意推定器のバイアスが正確な検索でも$(n2q)$とばらつき、OLSリスクはすべてのノイズに対して$(d/n)$であることを示した。
• 参考スコア（独自算出の注目度）: 1.381684956393831
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Guided Fine-Tuning (RAG-FT) incorporates retrieved data directly into the training objective, but the statistical consequences of noisy retrieval during training remain theoretically undercharacterized. We study this question by modeling RAG-FT as an estimation problem in a multi-task linear regression framework, using an OLS proxy for single-layer linear self-attention to obtain finite-sample risk bounds. Under homoscedastic retrieval noise, we show that retrieval failure decays exponentially with task separation relative to noise, and derive explicit finite-sample conditions under which RAG-FT achieves lower risk than both target-only and full-corpus training. We then introduce a Distance-Proportional Noise (DPN) model, in which retrieval quality degrades with rank, and compare two estimators under the same retrieval process: the OLS proxy and the literal, uniform-weight forward pass of linear self-attention. We prove that the attention estimator's bias diverges as $Θ(n^{2q})$ even under exact retrieval, while OLS risk remains $Θ(d/n)$ for every noise exponent $q>0$. These results locate the instability not in noisy retrieval itself, but in the fixed, unweighted aggregation of the literal LSA forward pass, which reweighting by reliability empirically removes. We validate the predicted rate separation through direct simulation of the DPN model.
• Abstract（参考訳）: Retrieval-Guided Fine-Tuning (RAG-FT)は、検索したデータをトレーニング対象に直接組み込むが、トレーニング中のノイズ検索の統計的結果は理論的には不十分である。 マルチタスク線形回帰フレームワークにおける推定問題としてRAG-FTをモデル化し、単一層線形自己アテンションに対するORSプロキシを用いて有限サンプルリスク境界を求める。 ホモシステマティックな検索ノイズの下では、検索故障はノイズに対するタスク分離と指数関数的に崩壊し、RAG-FTが目標と全体の両方のトレーニングよりも低いリスクを達成できる明示的な有限サンプル条件を導出する。 次に、検索品質が階数に低下する分散比重雑音(DPN)モデルを導入し、OLSプロキシとリテラルで一様で一様である線形自己アテンションの前方通過という2つの推定値を比較した。 注意推定器の偏差は、正確な検索下でさえ$(n^{2q})$とばらつき、OLSのリスクは、全てのノイズ指数$q>0$に対して$(d/n)$であることを示す。 これらの結果は、ノイズ検索自体ではなく、リテラルLSAフォワードパスの固定された非重み付けアグリゲーションにおいて、信頼性によって再重み付けされる不安定性を実証的に除去する。 DPNモデルの直接シミュレーションにより予測レートの分離を検証した。

関連論文リスト

• Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models [56.67321805551389]
  Reinforcement Learning (RL) は, 拡散・流れマッチングジェネレータにおいて, 迅速なアライメントと知覚品質の向上に有効な方法となっている。 探索行動の制御と力学のデノベーションを行うサンプルは、この方針の一部である。 有効探査と安定性のバランスをとる新しいサンプリング器を提案する。
  論文  参考訳（メタデータ） (2026-05-22T11:37:22Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Interleaved Resampling and Refitting: Data and Compute-Efficient Evaluation of Black-Box Predictors [15.386375612838371]
  本研究では,2乗損失下での大規模実証的リスク最小化の余剰リスクを評価することの課題について検討する。 トレーニングアルゴリズムへのブラックボックスアクセスのみを仮定し、過剰リスクを推定するための効率的な手順を開発する。
  論文  参考訳（メタデータ） (2026-03-15T04:41:20Z)
• Outlier-robust Autocovariance Least Square Estimation via Iteratively Reweighted Least Square [10.915853954229682]
  本稿では, 繰り返し再重み付き最小二乗法(IRLS)に基づく, ALS-IRLS と呼ばれる新しい外乱型ALSアルゴリズムを提案する。 これにより、ダウンストリーム状態推定精度が大幅に向上し、既存の異常なカルマンフィルタよりも優れている。
  論文  参考訳（メタデータ） (2026-03-09T09:40:11Z)
• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Why Self-Training Helps and Hurts: Denoising vs. Signal Forgetting [6.369253528507392]
  反復的な自己学習は、自身の予測によって生成された擬似ラベルのモデルに繰り返し適合する。 繰り返しの予測リスクと有効雑音に対する決定論的等価再帰を導出する。
  論文  参考訳（メタデータ） (2026-02-15T07:28:12Z)
• MaP: A Unified Framework for Reliable Evaluation of Pre-training Dynamics [72.00014675808228]
  大規模言語モデルの不安定性評価プロセスは、真の学習力学を曖昧にする。 textbfMaPは、アンダーラインMergingアンダーラインとアンダーラインPass@kメトリックを統合するフレームワークです。 実験により、MaPはよりスムーズな性能曲線を示し、ラン間分散を低減し、より一貫性のあるランキングを保証する。
  論文  参考訳（メタデータ） (2025-10-10T11:40:27Z)
• Outlier-Robust Linear System Identification Under Heavy-tailed Noise [2.07180164747172]
  線形時間不変系の状態遷移行列を推定する問題を考察する。 我々は、複数の弱集中型推定器の構築に依存する、新しいロバストなシステム同定アルゴリズムを開発した。 提案手法は, 敵が収集したトラジェクトリデータのごく一部を任意に破壊できるシナリオを考慮し, 容易に拡張可能であることを示す。
  論文  参考訳（メタデータ） (2024-12-31T12:53:02Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Exploring the Training Robustness of Distributional Reinforcement Learning against Noisy State Observations [7.776010676090131]
  エージェントが観察する状態の観察は、測定誤差や敵のノイズを含んでおり、エージェントが最適な行動を取るように誤解したり、訓練中に崩壊することもある。 本稿では,本研究の成果である分散強化学習(RL)のトレーニングロバスト性について検討する。
  論文  参考訳（メタデータ） (2021-09-17T22:37:39Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。