論文の概要: Provenance-Grounded Gating and Adaptive Recovery in Synthetic Post-Training Data Curation
- arxiv url: http://arxiv.org/abs/2606.11127v1
- Date: Tue, 09 Jun 2026 17:24:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.636274
- Title: Provenance-Grounded Gating and Adaptive Recovery in Synthetic Post-Training Data Curation
- Title(参考訳): 学習後データキュレーションにおける前向きゲーティングと適応的回復
- Authors: Soham Bhattacharjee, Karun Sharma, Vinay Kumar Sankarapu, Pratinav Seth,
- Abstract要約: ゲート構成,リカバリ戦略,ジェネレータスケールにまたがる2つの質問について,制御された検討を行った。
より強力な審査員にとって正確な情報源は、幻覚と報奨ゲートが、双方の必要である大半が不一致なサンプル集団を拒絶する、証明のゲーティングを改善することを発見した。
下流の微調整の質は、主に発電機スケールによって駆動され、濾過と回収条件は有意だが第二に寄与する。
- 参考スコア(独自算出の注目度): 3.5786174772957415
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Synthetic post-training pipelines commonly filter generated samples with reward models or holistic LLM judges, yet two practices remain rarely examined together: whether the filtering signal is grounded in the source evidence that induced each generation, and whether rejected samples can be systematically recovered rather than permanently discarded. We present a controlled study of both questions across gate configurations, recovery strategies, and generator scales, using adversarially injected corpora to provide ground-truth failure labels. We find that exact source provenance improves faithfulness gating for stronger judges, that hallucination and reward gates reject largely disjoint sample populations making both necessary, and that an adaptive recovery pipeline combining failure diagnosis with targeted regeneration achieves higher yield, recovery rate, and injection recall than naive resampling. Downstream fine-tuning quality is driven primarily by generator scale, with filtration and recovery conditions contributing meaningfully but secondarily.
- Abstract(参考訳): 合成後訓練パイプラインは、通常、生成されたサンプルを報酬モデルまたは総論的なLCM審査員でフィルタリングするが、フィルタリング信号が各世代を誘導する証拠に根拠づけられているかどうか、削除されたサンプルを永久に破棄するよりも体系的に回収できるかどうかの2つのプラクティスが一緒に検討されることは稀である。
本稿では, 逆噴射コーパスを用いて, ゲート構成, 回復戦略, ジェネレータスケールにまたがる問合せの制御を行った。
正確な出典は, 強い判断に対する忠実度向上, 幻覚と報酬ゲートは, どちらも必要としない標本群の大部分を拒絶し, 目標再生と障害診断を組み合わせた適応的回復パイプラインは, ナイーブ再サンプリングよりも高い収率, 回復率, インジェクションリコールを達成できることを見出した。
下流の微調整の質は、主に発電機スケールによって駆動され、濾過と回収条件は有意だが第二に寄与する。
関連論文リスト
- Probability-Conserving Flow Guidance [49.03107678763765]
Adaptive Manifold Guidance (AdaMaG)はリアリズムを改善し、幻覚を減らし、高誘導下での劣化を制御する。
画像生成ベンチマーク全体で、AdaMaGはリアリズムを改善し、幻覚を減らし、高誘導下での劣化を制御する。
論文 参考訳(メタデータ) (2026-05-19T16:34:01Z) - Know When To Fold 'Em: Token-Efficient LLM Synthetic Data Generation via Multi-Stage In-Flight Rejection [3.1572670872557196]
Multi-Stage In-Flight Rejection (MSIFR) は軽量でトレーニング不要なフレームワークで、完成前に低品質な世代軌道を終了する。
飛行中の拒否を逐次決定プロセスとして定式化し、非自明な破棄ポリシーが期待されるトークン消費を減少させることを示す。
論文 参考訳(メタデータ) (2026-05-13T19:35:49Z) - Active Learning for Conditional Generative Compressed Sensing [45.88028371034407]
生成的圧縮センシングは、限られた測定値から構造化信号を復元する非線形モデルとして、事前訓練されたジェネレータの範囲を使用する。
本フレームワークでは,サンプリング分布の設計に使用するプロンプトと,リカバリモデルの定義に使用するプロンプトの2つを分離する。
安定拡散実験により、クリストッフェルサンプリング分布を有意に再構成し、画像回復に影響を与えることが示されている。
論文 参考訳(メタデータ) (2026-05-06T20:50:14Z) - Align Documents to Questions: Question-Oriented Document Rewriting for Retrieval-Augmented Generation [51.55755193937205]
提案するQREAMは,検索した文書を事実を保存しながら質問指向のスタイルで整列するスタイル制御リライタである。
本フレームワークは,(1) 反復的書き換え探索にスタイリスティックシードを用いたQREAM-ICL,(2) ICL出力から抽出した軽量学生モデルQREAM-FTの2段階からなる。
論文 参考訳(メタデータ) (2026-04-19T08:39:21Z) - ProGRank: Probe-Gradient Reranking to Defend Dense-Retriever RAG from Corpus Poisoning [5.725082598014574]
Retrieval-Augmented Generation (RAG) は、検索された証拠に生成を基礎づけることで、大規模言語モデルの信頼性を向上させる。
相手がパスを注入または編集して、ターゲットクエリのTop-K$結果にランク付けし、下流生成に影響を与えるようにします。
本稿では,高密度レトリバーRAGのためのポストホック,トレーニングフリーレトリバーサイドディフェンスであるProGRankを提案する。
論文 参考訳(メタデータ) (2026-03-24T08:29:15Z) - ReSURE: Regularizing Supervision Unreliability for Multi-turn Dialogue Fine-tuning [72.05731026796335]
マルチターン対話システムは、低品質のデータに晒された場合、しばしば劣化した性能に悩まされる。
本稿では,適応学習手法であるReSUREを提案する。
単一ソースと混合品質のデータセットの実験では、安定性と応答品質が改善された。
論文 参考訳(メタデータ) (2025-08-27T15:54:01Z) - Generating on Generated: An Approach Towards Self-Evolving Diffusion Models [58.05857658085845]
再帰的自己改善(Recursive Self-Improvement、RSI)は、インテリジェンスシステムがその能力を自律的に改善することを可能にする。
本稿では、テキスト・画像拡散モデルにおけるRSIの適用について検討し、合成データによるトレーニング崩壊の課題に対処する。
論文 参考訳(メタデータ) (2025-02-14T07:41:47Z) - Adapt and Diffuse: Sample-adaptive Reconstruction via Latent Diffusion Models [24.5360032541275]
逆問題は、ノイズや(非線形でない)観測からクリーンな信号を回復することが目的である複数のアプリケーションで発生する。
我々のキーとなる観察は、既存の逆問題解決器のほとんどは、再構成作業の難易度に計算力を適応させる能力が欠如していることである。
オートエンコーダの潜時空間における劣化信号の劣化度を推定するために,$textitseverity encoding$という新しい手法を提案する。
論文 参考訳(メタデータ) (2023-09-12T23:41:29Z) - Reparameterized Sampling for Generative Adversarial Networks [71.30132908130581]
本稿では,マルコフ連鎖をジェネレータの潜在空間に再配置することで,一般依存型提案を可能にする新しいサンプリング手法REP-GANを提案する。
実験的な実験により、我々のREP-GANはサンプル効率を大幅に改善し、同時により良いサンプル品質を得ることを示した。
論文 参考訳(メタデータ) (2021-07-01T10:34:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。