論文の概要: A Shared Learning Rate Is Not a Neutral Control in Selective On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.22109v1
• Date: Mon, 17 Aug 2026 03:35:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.713962
• Title: A Shared Learning Rate Is Not a Neutral Control in Selective On-Policy Distillation
• Title（参考訳）: 選択型オンライン蒸留における共有学習速度は中性制御ではない
• Abstract要約: 選択的絡み合いを見つけ、それをステップサイズではなく選択自身にトレースする。 我々は、セレクタ比較の前提条件として、共有レート列ではなく、アームxレート行列を報告する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selective on-policy distillation trains a student only at the token positions a selector scores highest, and the literature compares selectors under a single shared learning rate--a control chosen to be neutral. We show it is not. Under LoRA on GSM8K (Qwen2.5-1.5B student, 7B teacher), across an 8x learning-rate grid, dense supervision is statistically flat (swing 1.8 pp, p=0.26) while every selective arm moves with the rate: 5.4 pp for a random 5% subset, 6.7 pp for a total-variation selector, up to 17.7 pp for a teachability selector. Consequently the dense-versus-selective verdict reads 10.1 pp at lr=1e-4 but 5.1 pp at 5e-5--a 2.0x difference decided by a parameter the protocol treats as scenery--and two of six pairwise significance calls between selectors flip between adjacent rates without any rank inversion. We call this selector-rate entanglement and trace it to selection itself rather than step size: AdamW update magnitudes track the rate to within 2.2% despite 15.5x gradient-norm differences across arms. A preregistered frozen-scoring ablation (selection scored by the initial student; criterion, budget, and on-policy rollouts unchanged; 12 seeds per cell) shows live scoring adds 3.79+/-1.69 pp of rate sensitivity (p=0.035) while the frozen arm remains significantly entangled (p=0.015): the feedback loop aggravates the phenomenon rather than causing it. Under full fine-tuning at the rates this literature actually uses (1e-6 to 1e-5) the pattern grows: dense itself swings 19.8 pp, the selective arm 49.5 pp, and the verdict ranges from a non-significant +3.6 pp at the published operating point to +34 pp (p=0.005) one notch hotter. On MATH-500 the rate dependence does not reproduce under LoRA, scoping that result, while the ~10 pp cost of selective training does. We prescribe reporting the arm x rate matrix, not a shared-rate column, as a precondition for selector comparisons.
• Abstract（参考訳）: 選択的なオンライン蒸留は、学生をトークンポジションでのみ訓練し、セレクターのスコアが最も高く、文献は1つの共有学習率でセレクターを比較する。 私たちはそうではないことを示します。 GSM8K上のLoRA(Qwen2.5-1.5Bの学生、7Bの教師)の下では、密集した監督は統計的に平坦であり(1.8 pp, p=0.26)、任意の選択アームは5%のランダムなサブセットで5.4 pp、全変分セレクタで6.7 pp、教育性セレクタで17.7 ppである。 その結果、密度対選択判定は、lr=1e−4で10.1ppと5e−5e−5e−5.1ppと、プロトコルが処理するパラメータによって決定される2.0xの差を10.1ppと読み取る。 我々はこのセレクタレートの絡み合いを、ステップサイズではなくセレクタ自身にトレースする:AdamWの更新等級は、腕間で15.5倍の勾配-ノーム差があるにもかかわらず、レートを2.2%以内まで追跡する。 事前登録された凍結スコーリングアブレーション(初等生のスコア、基準、予算、およびオン・ポリティクスのロールアウトは変化せず、セル当たり12種)は、ライブスコアが3.79+/-1.69ppのレート感度(p=0.035)を加算し、凍結した腕は著しく絡み合う(p=0.015)が、フィードバックループは引き起こすのではなく、現象を悪化させる。 密度は19.8 pp、選択アームは49.5 pp、判定範囲は公表された操作点における非有意な+3.6 ppから1ノッチホットターの+34 pp (p=0.005)までである。 MATH-500では、レート依存はLoRAの下では再現されず、その結果をスコーピングするが、選択的なトレーニングのコストはおよそ10ppである。 我々は、セレクタ比較の前提条件として、共有レート列ではなく、アームxレート行列を報告する。

関連論文リスト

• Observer Choice and Threshold Selection in Retinal Vessel Segmentation: A Subject-Separated Evaluation [28.97096038427138]
  全28個のCHASE DB1画像と両アノテーションを用いて網膜血管分割の選択について検討した。 ランダムな森林では、マキシミンは21本中19本で閾値を変化させるが、最悪のサーバのDiceは70.53パーセントから70.45パーセントに低下する。 IdenticalObserver-1-tuned random-forest masks score 73.6% againstObserver 1 and 71.06% againstObserver 2
  論文  参考訳（メタデータ） (2026-09-22T02:41:33Z)
• OSCAR: Order-aware Scoring and Calibration for AI Rankings [5.827674099587138]
  我々は、AIランキングのスコア付けと校正のための秩序対応フレームワークであるOSCARを紹介する。 18人の評価者による公表された判定では、A-minus-Bスコアの差は-63.11ドルから9,8.31ドルまで様々である。 感度に基づく格付けを判断対象の位置、長さ、家族用語で拡張し、局所的な排便誘発変位と識別障害を特徴付けるとともに、調整された比較にプロンプト・クラスタの不確実性を伝達する。
  論文  参考訳（メタデータ） (2026-09-21T05:30:16Z)
• Does Reasoning Improve Psychological Depth in Large Language Models? It Depends on Who's Judging [41.62710134204231]
  短い物語において、心理学的深度を通して失敗モードを研究する。 審査員の、その開発セットにおける人間の評価との相関は、アウトプットが密に一致し、人間の嗜好が主観的である場合、有効な測定を保証できない可能性がある。 これらの結果から, 開発段階の性能は, シフト分布におけるデプロイメントの有効性の証拠として不十分であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-12T07:34:54Z)
• SCOPE-OPSD: Fisher-Conditioned Privileged Subspaces for On-Policy Self-Distillation [22.56867206175605]
  SCOPE-OPSDは、特権教師の残余を冷凍ランク64因子に投影する。 OPSDがすでに必要としているフォワードを再利用し、ロールアウトも推論時モジュールも追加しない。 Qwen3-1.7B、4B、8Bの完全な25/50/75/100ステップの軌道は、Structuredは純粋なOPSD以下ではない。
  論文  参考訳（メタデータ） (2026-09-11T08:33:52Z)
• Quantifying Protocol-Induced Uncertainty in Comparative Predictive-Model Evaluation: Evidence from Large-Scale Daily PM10 Forecasting [0.0]
  本稿では,プロトコルの切り換えによるランクのずれと,固定されたプロトコル内での従来の選択によるずれを比較検討する枠組みを提案する。 これらの効果を,Protocol Sensitivity Score(PSS)とProtocol内リファレンスを用いて定量化する。 これらの結果は,モデル選択の結論が正当性評価の選択に依存していることを示している。
  論文  参考訳（メタデータ） (2026-08-26T02:33:57Z)
• Peer-Voted LLM-Agent Stress Tests Find Feed-Induced Lexical Convergence but No Reliable Matched-Exposure Advantage for Distributed Sources [0.013714053458441644]
  ピア投票型ソーシャルプラットフォームテストベッドであるPV-SSTを紹介する。 実験は448の試験と112の完全なモデル・バイ・トピック・バイ・シードブロックで構成されている。
  論文  参考訳（メタデータ） (2026-08-20T12:01:19Z)
• Envs-FORGE: Frontier-Optimized Reward-Grounded Environment Synthesis for Agent RL [31.348699617272732]
  Envs-FORGEは、検証者報酬を種ごとの環境合成アクションに変換するプロンプトポリシーである。 シードパス率を推定し、ターゲット学習フロンティア周辺で6つのプロジェクション指向アクションをスコアし、シードごとの混合整数線形プログラムを解決する。 すべての合成法は100個の認証された環境を輸出し、2.27M-2.88M合成トークンを使用する。
  論文  参考訳（メタデータ） (2026-08-14T13:54:22Z)
• WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
  WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。 アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。 凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
  論文  参考訳（メタデータ） (2026-08-10T11:22:53Z)
• TrustRoboReward: Preference-Ordered Isotonic Score Editing for Multi-Paradigm Robot Reward Models [40.42873860258522]
  優先順序等調スコア編集(POISE)を備えたマルチパラダイム報酬モデリングフレームワークであるTrustRoboRewardを提案する。 POISEはポイントワイズスコアを修正し、TrustJudgeが未解決のクロスパラダイム逆転競合を取り除く。 POISEでトレーニングされたQwen3-VL-4Bは、全体的な報酬スコアが77.96%に達し、GPT-5-mini(78.09%、ギャップ0.13%)とほぼ一致し、最強のRoboReward-4Bベースラインを10.13%上回った。
  論文  参考訳（メタデータ） (2026-08-09T05:25:22Z)
• Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation [0.0]
  連鎖忠実性に関する最近の研究は、単一集合数について報告している。 本論文は、忠実性はモデルの客観的かつ測定可能な性質ではないことを示す。
  論文  参考訳（メタデータ） (2026-03-20T17:48:43Z)
• Continuous Mean-Covariance Bandits [39.820490484375156]
  本稿では,選択肢相関を考慮した連続平均共分散帯域モデルを提案する。 CMCBでは、与えられた選択肢の重みベクトルを逐次選択し、決定に従ってランダムなフィードバックを観察する学習者がいる。 最適な後悔(対数的因子を含む)を伴う新しいアルゴリズムを提案し、それらの最適性を検証するために一致した下界を提供する。
  論文  参考訳（メタデータ） (2021-02-24T06:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。