Fugu-MT 論文翻訳(概要): Revocable Learned State via Process Sidecars

論文の概要: Revocable Learned State via Process Sidecars

arxiv url: http://arxiv.org/abs/2606.30788v1
Date: Mon, 29 Jun 2026 18:18:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-01 18:27:18.965784
Title: Revocable Learned State via Process Sidecars
Title（参考訳）: プロセスサイドカーによる回避可能な学習状態
Abstract要約: 安全フェーズ後のメモリの取り消しは、メモリ更新の減算と同じ問題ではない。プロセスサイドカーは2係数の編集ファミリ$hat(,)=_mathrmAMS-_mathrmM-hatR_mathrmSleftarrowmathrmM$。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Language models are often adapted in stages: a public skill phase, a private memory phase, and a later safety phase that learns to refuse outputs tied to the remembered entities. Revoking the memory after the safety phase is not the same problem as subtracting the memory update: the later safety optimizer has transported the memory direction. We introduce process sidecars, a two-coefficient edit family $\hatθ(λ,γ)=θ_{\mathrm{AMS}}-λΔ_{\mathrm{M}}-γ\hat{R}_{\mathrm{S}\leftarrow\mathrm{M}}$, with $\hat{R}_{\mathrm{S}\leftarrow\mathrm{M}}=\hat{J}_{\mathrm{S},\varepsilon}(Δ_{\mathrm{M}})-Δ_{\mathrm{M}}$, where $\hat{J}_{\mathrm{S},\varepsilon}$ is a centered secant through the realized future AdamW safety-training process. The implementation uses $\varepsilon=1$ at the natural memory-edit scale; it reuses $θ_{\mathrm{AMS}}$ as the positive endpoint and computes one additional safety trace at $θ_{\mathrm{A}}-Δ_{\mathrm{M}}$. We prove two things. First, the exact sidecar, using the true transported direction $R_{\mathrm{S}\leftarrow\mathrm{M}}$ rather than the secant estimate, at $(λ,γ)=(1,1)$ recovers the counterfactual safety-only oracle $θ_{\mathrm{AS}}$ up to second order; the proof treats AdamW as an augmented-state map over parameters, first moments, and second moments. Second, this process information is necessary: whenever future safety training bends the memory direction, every scalar task-arithmetic edit leaves first-order counterfactual error, while the process-sidecar edit is second-order accurate. Across three models, the validation-selected 2D edit improves held-out refusal closure over naive task arithmetic in all trials, and over the $γ=λ$ process-JVP subfamily, the diagonal slice of the cached 2D grid, in all paired trials.
Abstract（参考訳）: 言語モデルは、パブリックスキルフェーズ、プライベートメモリフェーズ、そして、記憶されたエンティティに結びついた出力を拒否することを学ぶ後続の安全フェーズなど、しばしば段階的に適応される。安全フェーズ後のメモリの取り消しは、メモリ更新の減算と同じ問題ではない:後の安全オプティマイザはメモリ方向を転送した。プロセスサイドカー, 2係数の編集ファミリ, $\hatθ(λ,γ)=θ_{\mathrm{AMS}}-λΔ_{\mathrm{M}}-γ\hat{R}_{\mathrm{S}\leftarrow\mathrm{M}}$, with $\hat{R}_{\mathrm{S}\leftarrow\mathrm{M}}=\hat{J}_{\mathrm{S},\varepsilon}(Δ_{\mathrm{M}})-Δ_{\mathrm{M}}$, where $\hat{J}_{\mathrm{S},\varepsilon}$,\varepsilon} は、実現したAdamWトレーニングプロセスにおける中心セマントである。この実装は、自然メモリ編集スケールで$\varepsilon=1$を使用し、正のエンドポイントとして$θ_{\mathrm{AMS}}$を再利用し、$θ_{\mathrm{A}}-Δ_{\mathrm{M}}$で1つの安全性トレースを計算する。私たちは2つのことを証明します。まず、真の輸送方向である$R_{\mathrm{S}\leftarrow\mathrm{M}}$ではなく、真の輸送方向である$R_{\mathrm{S}\leftarrow\mathrm{M}}$を用いて、$(λ,γ)=(1,1)$で反ファクト的安全性のみのオラクルである$θ_{\mathrm{AS}}$を2階まで回収する。第2に、このプロセス情報が必要である: 将来の安全トレーニングがメモリ方向を曲げるたびに、スカラータスク・アダルメティックな編集は1次反事実誤差を残し、プロセスサイドカーの編集は2次精度である。 3つのモデルにわたって、バリデーション選択された2D編集は、全ての試行において、ナイーブなタスク算術に対する断続的な拒絶を改善し、全ての試行において、キャッシュされた2Dグリッドの対角線スライスである$γ=λ$プロセス-JVPサブファミリーを上回ります。

関連論文リスト

Nonstationary Generalized Linear Bandits with Discounted Online Mirror Descent [39.805192541498634]
本研究では,非定常線形計算(GLBs)について検討し,期待される報酬を未知の時間変化パラメータを持つ非線形リンク関数を用いてモデル化する。本稿では,パラメータ推定に割引オンラインミラー降下(DOMD)を利用する非定常GLBに対する新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2026-05-25T08:40:32Z)
Mild Over-Parameterization Benefits Asymmetric Tensor PCA [12.923414933046574]
非対称PCA(ATPCA)は、サンプル複雑性、計算、メモリ間のトレードオフを研究するための原型モデルである。私たちは$overlinek geq 4$が偶数であるような設定にフォーカスし、限られたメモリ予算の下で降下アルゴリズムを検討する。
論文参考訳（メタデータ） (2026-04-11T13:34:48Z)
Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
論文参考訳（メタデータ） (2025-04-28T16:58:55Z)
Heavy-Tailed Linear Bandits: Huber Regression with One-Pass Update [62.96781471194877]
ヘビーテール付きバンディットには、ヘビーテール付きノイズ、トランケーション、中央値の2つの基本戦略が導入されている。本稿では,オンラインミラー降下フレームワークに基づくEmphone-passアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-03-01T09:41:45Z)
Online Matrix Completion: A Collaborative Approach with Hott Items [19.781869063637387]
M$ユーザ,$N$アイテム,$T$ラウンド,未知のランク-$r$報酬行列$Rin mathbbRMtimes N$のオンライン設定における下位行列補完問題について検討する。
論文参考訳（メタデータ） (2024-08-11T18:49:52Z)
Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-07T15:03:50Z)
Metric Embeddings Beyond Bi-Lipschitz Distortion via Sherali-Adams [34.7582575446942]
準多項式依存のMDSに対する最初の近似アルゴリズムをDeltaに与える。本アルゴリズムは,シェラリ・アダムスLPの条件付きラウンドリングの幾何学的認識に基づく新しい解析法である。
論文参考訳（メタデータ） (2023-11-29T17:42:05Z)
Regret-Optimal Federated Transfer Learning for Kernel Regression with Applications in American Option Pricing [8.723136784230906]
本稿では、中央プランナーがデータセットにアクセス可能なフェデレーショントランスファー学習のための最適反復スキームを提案する。我々の目標は、生成されたパラメータの累積偏差を$thetai(t)_t=0T$で最小化することである。後悔と最適化のアルゴリズム内で対称性を活用することで, $mathcalO(Np2)$少なめの初等演算を伴って動作する,ほぼ後悔のいく$_optimalを開発する。
論文参考訳（メタデータ） (2023-09-08T19:17:03Z)
Near-Optimal Regret Bounds for Multi-batch Reinforcement Learning [54.806166861456035]
本研究では,有限水平マルコフ決定過程(MDP)によってモデル化されたエピソディック強化学習(RL)問題をバッチ数に制約を加えて検討する。我々は,$tildeO(sqrtSAH3Kln (1/delta))$tildeO(cdot)をほぼ最適に後悔するアルゴリズムを設計し,$(S,A,H,K)$の対数項を$K$で隠蔽する。技術的貢献は2つある: 1) 探索のためのほぼ最適設計スキーム
論文参考訳（メタデータ） (2022-10-15T09:22:22Z)
Misspecified Phase Retrieval with Generative Priors [15.134280834597865]
単一のインデックスモデル $y の $m$ i.d.realization から$n$-dimensional signal $mathbfx$ を推定する。どちらのステップも、適切な条件下では、$sqrt(klog L)cdot (log m)/m$の統計的レートを享受できることが示される。
論文参考訳（メタデータ） (2022-10-11T16:04:11Z)
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs [111.75736569611159]
線形混合MDPのための計算効率のよい初めての地平線フリーアルゴリズムを提案する。我々のアルゴリズムは、未知の遷移力学に対する重み付き最小二乗推定器に適応する。これにより、$sigma_k2$'sが知られているときに、この設定で最もよく知られたアルゴリズムも改善される。
論文参考訳（メタデータ） (2022-05-23T17:59:18Z)
Sketching Algorithms and Lower Bounds for Ridge Regression [65.0720777731368]
リッジ回帰問題に対する1+varepsilon$近似解を計算するスケッチベース反復アルゴリズムを提案する。また,このアルゴリズムがカーネルリッジ回帰の高速化に有効であることを示す。
論文参考訳（メタデータ） (2022-04-13T22:18:47Z)
On Submodular Contextual Bandits [92.45432756301231]
作用が基底集合の部分集合であり、平均報酬が未知の単調部分モジュラ函数によってモデル化されるような文脈的包帯の問題を考える。 Inverse Gap Weighting 戦略により,提案アルゴリズムは推定関数の局所的最適度を効率よくランダム化することを示す。
論文参考訳（メタデータ） (2021-12-03T21:42:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。