論文の概要: Intervention-Certified Amplification: A Validity Gate for $σ$-Weighted Post-Training
- arxiv url: http://arxiv.org/abs/2610.33882v1
- Date: Sat, 24 Oct 2026 19:49:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.476538
- Title: Intervention-Certified Amplification: A Validity Gate for $σ$-Weighted Post-Training
- Title（参考訳）: Intervention-Certified Amplification:$σ$-Weighted Post-Trainingの検証ゲート
- Abstract要約: ハイブリッドポストトレーニングは、教師付き微調整(SFT)と強化学習(RL)を混合することが多い
このミスマッチは、リテラル形式が監督から取り除かれた後も、事前訓練された行動を再活性化し増幅することができる。
本研究では,DIAA (Dual-Implicit Adversarial Amplification) とSFT/RLハイブリッドを用いてこれを実証する。
- 参考スコア（独自算出の注目度）: 6.153263093589861
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hybrid post-training often mixes supervised fine-tuning (SFT) and reinforcement learning (RL), using training-side signals to set each sample's balance. Such signals characterize the anchor data and policy, but not whether the emphasized behavior helps in the target task and evaluation setting. This mismatch can reactivate and amplify pretrained behavior even after its literal form is removed from supervision. We demonstrate this with DIAA (Dual-Implicit Adversarial Amplification), a per-sample $σ$-weighted SFT/RL hybrid. With all literal Python fences removed from its anchor, DIAA emits unexecuted Tool-Integrated Reasoning (TIR) on $29%$ of MATH-500 prompts, three times vanilla GRPO. Paired interventions show $10.6$ percentage points of accuracy recovery when TIR is suppressed and comparable contributions from SFT imitation and $σ$-amplification; a student trained on a $0%$-TIR teacher anchor emits it at $45.8%$. Intervention-Certified Amplification (ICA) gates $σ$ with paired-rollout target evidence. Frozen and online ICA reduce TIR to $13.8%$ and $11.2%$, halve residual drag, improve accuracy from $47.5%$ to $48.7%$ and $49.3%$, and transfer to held-out GSM8K without retuning.
- Abstract（参考訳）: ハイブリッドポストトレーニングはしばしば、教師付き微調整(SFT)と強化学習(RL)を混合し、各サンプルのバランスをトレーニング側信号で設定する。
このような信号は、アンカーデータとポリシーを特徴付けるが、強調された振る舞いが目標のタスクや評価設定に役立つかどうかは問わない。
このミスマッチは、リテラル形式が監督から取り除かれた後も、事前訓練された行動を再活性化し増幅することができる。
本研究では,DIAA (Dual-Implicit Adversarial Amplification) とSFT/RLハイブリッドを用いてこれを実証する。
すべてのリテラルPythonフェンスがアンカーから削除されたため、DIAAは実行されていないツール・インテグレート・推論(TIR)を29%のMATH-500プロンプトで出力し、3倍のバニラGRPOを出力する。
ペア化された介入は、TIRが抑制されたときに10.6ドルの精度回復率を示し、SFT模倣やσ$-amplification(英語版)から同等の貢献をしており、0%$-TIR教師アンカーで訓練された学生は45.8%$でそれを出力する。
Intervention-Certified Amplification (ICA) は、ペアロールアウトターゲットエビデンスで$σ$をゲートする。
冷凍およびオンラインICAは、TIRを13.8%ドルと11.2%ドルに減らし、残留抵抗を半減し、精度を47.5%ドルから48.7%ドルと49.3%ドルに改善し、調整せずにGSM8Kに転送する。
関連論文リスト
- Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight [69.33075666165205]
検証可能な報酬(RLVR)による強化学習は、エージェント体験を学習信号に変換する。
自己検査蒸留(Self-Retrospection Distillation, SRD)は、特権のある後見を同じ方針の軌跡の目視に蒸留する。
以上の結果から,ポストホックエージェント体験は,行動の評価や改善だけでなく,対話に先立って予測表現を形成する上でも有用であることが示唆された。
論文 参考訳（メタデータ） (2026-10-06T10:06:47Z) - Dependency-Aware Trajectory Refinement for Efficient Multi-Turn Agent Fine-Tuning [46.007931431049194]
そこで本研究では,各軌跡を球面依存性DAGとみなし,どのラウンドがグローバルにロード・ベアリングされているかを明らかにする。
これらの編集は決定論的で解釈可能である。
これらの洗練された軌道で訓練されたモデルは、推論コストの低いオリジナルの軌道で訓練されたモデルよりも一貫して優れていた。
論文 参考訳（メタデータ） (2026-09-16T10:11:58Z) - Know When to Stop, Where to Restart: Accelerating Multi-Turn Agentic On-Policy Distillation [45.25745441009372]
既存の加速法は、固定されたオフライン予算に従って監視信号を切断または移動させる。
本稿では2つの相補的手法を組み合わせたSTRIDE(Stop-and-Restart on-policy DistillationAcceleration)を提案する。
提案手法は全軌道PDと一致し,30B 教師を3.73 タイムで上回り,ベースライン自体を2.34 タイムで上回り,クロスドメインマルチテスタトレーニングでは4.51 タイムで上回ります。
論文 参考訳（メタデータ） (2026-09-13T16:17:35Z) - TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。
ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。
純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
論文 参考訳（メタデータ） (2026-07-15T16:16:42Z) - Keep Policy Gradient in Charge: Sibling-Guided Credit Distillation for Long-Horizon Tool-Use Agents [11.997694190254974]
自己蒸留は、政策のロールアウトや特権教師を再利用することで、より密集的なシグナルを約束する。
しかし、トークンレベルの直接蒸留は、ツールの使用を静かに破壊できることを示す。
SGCD(Singing-Guided Credit Distillation)を導入する。
論文 参考訳（メタデータ） (2026-06-10T19:53:20Z) - ChainzRule: Sample-Efficient, Robust Deep Learning Across Tabular, NLP, and Vision Tasks [0.0]
エンタープライズドメイン全体にわたるディープラーニングシステムは、学術ベンチマークが不明瞭な制約の下で運用される。
本稿では、典型的なアクティベーションを微分正規化(DREG)によって制御される学習可能な層に置き換えるニューラルネットワークChainzRule(CR)を提案する。
CRは、ピマ糖尿病で85.71% pm 2.01%$、凍結エンコーダでSST-5の感情分類で46.20% pm 0.37%$、パラメータが3.2Mの完全順序回帰で70.17%$を達成している。
論文 参考訳（メタデータ） (2026-05-23T01:52:50Z) - Calibration Collapse Under Sycophancy Fine-Tuning: How Reward Hacking Breaks Uncertainty Quantification in LLMs [0.0]
サイコファンの報酬信号が校正を低下させるかどうかを検討する。
3つのモデルに適用されるポストホック行列スケーリングは、ECEを40$--64%$で削減し、精度を1.5$--$$パーセンテージポイントで改善する。
これらの知見は、報酬ハッキングの校正効果を評価する方法論を確立し、校正対応訓練の目的を動機づけるものである。
論文 参考訳（メタデータ） (2026-04-12T11:09:49Z) - Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。
ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
論文 参考訳（メタデータ） (2025-07-09T14:29:45Z) - Provably Efficient Action-Manipulation Attack Against Continuous Reinforcement Learning [49.48615590763914]
我々は,モンテカルロ木探索法を用いて効率的な行動探索と操作を行うLCBTというブラックボックス攻撃アルゴリズムを提案する。
提案手法は, DDPG, PPO, TD3の3つの攻撃的アルゴリズムに対して, 連続的な設定で実行し, 攻撃性能が期待できることを示す。
論文 参考訳（メタデータ） (2024-11-20T08:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。