論文の概要: Toward Alignment Scaling Laws: A Framework and First Preregistered Measurements

• arxiv url: http://arxiv.org/abs/2610.08540v1
• Date: Tue, 06 Oct 2026 15:29:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.083943
• Title: Toward Alignment Scaling Laws: A Framework and First Preregistered Measurements
• Title（参考訳）: 配向スケーリング法に向けて:フレームワークと最初の事前登録計測
• Abstract要約: 我々は重荷の運用を行い、観察された、監査された、そして真の整合性を区別する。 修正が能力のヘッドルームを消費する玩具モデルは、その結果を明確にする。 これらの法律を執行する4つのブラウザゲームをリリースします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Whether alignment gets easier or harder as models grow is often argued from isolated findings, as if alignment were one property. We treat it as a family of measurable scaling relations: for each risk category r, the alignment burden needed to hold a fixed safety target is modeled as B_r(N)=a_rN^alpha_r, with N a capability proxy; against a budget proportional to N, scaling helps if alpha_r<1, keeps pace if alpha_r~1, and accumulates alignment debt if alpha_r>1. We give three operationalizations of burden and distinguish observed, audited and true alignment. A toy model, in which corrections consume capability headroom, makes the consequences explicit. We prove that the largest exponent among corrected risks, not an average, sets the long-run regime; that above 1 any policy holding headroom above a floor must grow super-exponentially; that, for burdens that are positive mixtures of power laws, fits on small models underestimate large-scale exponents; and that an audit that uncovers hidden failures without false positives never underestimates true alignment. We propose a pre-registrable protocol and apply reduced versions of it twice. A preregistered reanalysis of public adversarial-training data for Pythia classifiers finds that the compute needed to bring attack success under 10% grows as N^0.60. A preregistered pilot on Qwen2.5 0.5B-72B finds exponents of -0.05 for truthfulness and 0.48 for stated dispositions (both scaling helps under its reduced rule, though local slopes approach 1 at the top; replicated on Qwen3 0.6B-14B), while sycophancy (0.89, or 0.83 with two seeds added at 72B) and a planted backdoor are undetermined: the backdoor is removed quickly when its trigger is known but survives blind safety training at four of five sizes. We release four browser games that play these laws (www.aisafety.fun). We make no claim about which regime holds for current frontier models.
• Abstract（参考訳）: モデルが成長するにつれてアライメントが簡単になるか困難になるかは、例えばアライメントが1つの特性であるかのように、独立した発見から論じられることが多い。 リスクカテゴリrごとに、固定された安全目標を保持するのに必要なアライメント負担をB_r(N)=a_rN^alpha_rとしてモデル化し、Nに比例する予算に対して、α_r<1がアルファ_r~1のペースを維持するのに役立ち、アルファ_r>1がアライメント負債を蓄積する。 負荷の3つの運用方法を提供し,観察,監査,真のアライメントを区別する。 修正が能力のヘッドルームを消費する玩具モデルは、その結果を明確にする。 修正されたリスクのうち、平均的ではなく最大の指数が長期的体制を定めていること、上述の1つ以上の政策では、床の上にヘッドルームを保持する政策は、超指数的に成長しなければならないこと、電力法則の正の混合である負担は、大規模指数を過小評価する小さなモデルに適合すること、偽陽性のない隠れた失敗を明らかにする監査は、真のアライメントを過小評価することはないことを証明している。 本稿では,事前登録可能なプロトコルを提案し,そのバージョンを2回適用する。 Pythia分類器の公的な敵対的訓練データの事前登録では、N^0.60として10%以下の攻撃成功をもたらすために必要な計算量が増加する。 Qwen2.5 0.5B-72B で事前登録されたパイロットは、真実性の指数が-0.05 であり、宣言された処分の指数が 0.48 である(ただし、スケーリングは、その規制下にあるが、局所的な斜面が1 に接近し、Qwen3 0.6B-14B に複製される)のに対し、サイコファンシー(0.89 または 0.83 に2 つの種が加わった)と植えられたバックドアは未決定である。 これらの法則を実行する4つのブラウザゲーム(www.aisafety.fun)をリリースします。 現在のフロンティアモデルにどのレギュレーションがあるのかについては、議論の余地はありません。

関連論文リスト

• Bounded Reachability & Jailbreak Detection via Contraction-Constrained State Space Models [0.0]
  本研究では、状態空間モデルに基づく安全ヘッドが、有界埋め込み空間摂動内の全ての入力に対して同じ予測をすることができることを示す。 平均プールのMamba-130M埋め込みにおけるロジスティック回帰は、検出基準ごとにS4ヘッドと一致または超えている。 S4の安全責任者の貢献は優れた差別ではなく、プローブベースのアプローチが提供しない正式な認証である。
  論文  参考訳（メタデータ） (2026-10-02T05:39:06Z)
• Reference-Tail Trust:Certified Probability Floors for Learned Updates Inside a Deployed Network [0.0]
  グラフニューラルネットワーク(GNN)は、すでにデプロイに信頼されている予測を放棄することなく、改善されたメッセージパッシングを活用する必要がある。 我々は、凍結したGNN内で学習した更新を認め、実際に提供された予測を認証するフレームワークであるReference-Tail Trust (RTT)を紹介した。
  論文  参考訳（メタデータ） (2026-09-28T11:09:29Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Overconfident Errors Need Stronger Correction: Asymmetric Confidence Penalties for Reinforcement Learning [17.384089089363382]
  既存の手法が見落としている根本原因を同定する。 現在のアプローチでは、グループ内のすべての誤ったロールアウトを同一に扱う。 非対称信頼度を考慮した誤り罰(ACE)を提案する。
  論文  参考訳（メタデータ） (2026-02-24T22:46:43Z)
• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning [32.32593439144886]
  振舞い校正された強化学習により、小さなモデルは不確実な定量化においてフロンティアモデルを超えることができる。 当社のモデルでは,GPT-5の0.207を超える精度向上率(0.806)を挑戦的なドメイン内評価において達成している。
  論文  参考訳（メタデータ） (2025-12-22T22:51:48Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。