論文の概要: Evaluating Risks in Weak-to-Strong Alignment: A Bias-Variance Perspective

• arxiv url: http://arxiv.org/abs/2604.25077v1
• Date: Tue, 28 Apr 2026 00:15:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.64099
• Title: Evaluating Risks in Weak-to-Strong Alignment: A Bias-Variance Perspective
• Title（参考訳）: 弱-ストロングアライメントのリスク評価 : バイアス-ばらつきの観点から
• Authors: Hamid Osooli, Kareema Batool, Rick Gentry, Tiasa Singha Roy, Ashwin Gupta, Anirudha Ramesh,
• Abstract要約: バイアス分散共分散レンズを用いて、弱いストロングアライメントを解析する。 我々は、弱い人口リスクに不適合に基づく上限を導出する。 教師付き微調整(SFT)、人間フィードバックからの強化学習(RLHF)、AIフィードバックからの強化学習(RLAIF)の4つの弱強パイプラインの評価を行った。
• 参考スコア（独自算出の注目度）: 0.24629531282150874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weak-to-strong alignment offers a promising route to scalable supervision, but it can fail when a strong model becomes confidently wrong on examples that lie in the weak teacher's blind spots. Understanding such failures requires going beyond aggregate accuracy, since weak-to-strong errors depend not only on whether the strong model disagrees with its teacher, but also on how confidence and uncertainty are distributed across examples. In this work, we analyze weak-to-strong alignment through a bias-variance-covariance lens that connects misfit theory to practical post-training pipelines. We derive a misfit-based upper bound on weak-to-strong population risk and study its empirical components using continuous confidence scores. We evaluate four weak-to-strong pipelines spanning supervised fine-tuning (SFT), reinforcement learning from human feedback (RLHF), and reinforcement learning from AI feedback (RLAIF) on the PKU-SafeRLHF and HH-RLHF datasets. Using a blind-spot deception metric that isolates cases where the strong model is confidently wrong while the weak model is uncertain, we find that strong-model variance is the strongest empirical predictor of deception across our settings. Covariance provides additional but weaker information, indicating that weak-strong dependence matters, but does not by itself explain the observed failures. These results suggest that strong-model variance can serve as an early-warning signal for weak-to-strong deception, while blind-spot evaluation helps distinguish whether failures are inherited from weak supervision or arise in regions of weak-model uncertainty.
• Abstract（参考訳）: しかし、弱い教師の盲点にある例で、強いモデルが自信を持って間違っている場合、それは失敗する可能性がある。 このような失敗を理解するには、強いモデルがその教師と矛盾するかどうかだけでなく、いかに自信と不確実性が事例間で分散しているかにも依存するため、集合的精度を超える必要がある。 本研究では,不適合理論と実践的な後学習パイプラインを結合するバイアス分散共分散レンズを用いて,弱強直アライメントを解析する。 我々は、弱い個体群リスクに不適合に基づく上限を導出し、その実証的成分を連続的信頼度スコアを用いて研究する。 教師付き微調整(SFT)、人間フィードバックからの強化学習(RLHF)、PKU-SafeRLHFおよびHH-RLHFデータセット上のAIフィードバックからの強化学習(RLAIF)の4つの弱強パイプラインを評価する。 弱いモデルが不確実である間に、強いモデルが確実に間違っているケースを分離する盲点偽造指標を用いて、強いモデルの分散が、我々の設定において最も強い欺造の予測因子であることが分かる。 共分散は追加で弱い情報を提供し、弱い強い依存が重要であることを示しているが、それ自体は観測された失敗を説明するものではない。 これらの結果から,弱いモデル不確実性の領域に障害が引き継がれるか,あるいは弱いモデル不確実性の領域に発生するのかを,盲点評価が判断する上で,強モデル分散が早期に警告信号として機能することが示唆された。

関連論文リスト

• Mitigating Error Amplification in Fast Adversarial Training [58.74042726356826]
  FAT(Fast Adversarial Training)は、ネットワークに摂動不変表現の学習を促すことによって、モデルロバスト性の向上に有効であることが証明されている。 FATは、しばしば破滅的なオーバーフィッティング(CO)に悩まされ、モデルがトレーニングアタックに過度に適合し、目に見えないものへの一般化に失敗する。 本稿では、摂動予算と監視信号の両方を動的に調整する分散対応動的ガイダンス(DDG)戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-27T11:23:18Z)
• On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs [15.301640007799735]
  単純な、制御されたテキストの摂動(キャプションや不正確なチェーン・オブ・シント(CoT)のトレース)は、堅牢性と信頼性が著しく低下していることを示している。 これらの脆弱性をよりよく理解するために、我々はRL微調整力学を分析し、精度と信頼のトレードオフを明らかにする。
  論文  参考訳（メタデータ） (2026-02-13T01:12:00Z)
• Counterfactual Reward Model Training for Bias Mitigation in Multimodal Reinforcement Learning [0.5204229323525671]
  本稿では,マルチモーダル表現学習による因果推論を導入し,非教師付きバイアス耐性報酬信号を提供する。 我々は, フレーミングバイアス, クラス不均衡, 分散ドリフトを示すマルチモーダルフェイク対真のニュースデータセット上で, フレームワークの評価を行った。 その結果、偽ニュースの検出において89.12%の精度を達成し、ベースライン報酬モデルを上回った。
  論文  参考訳（メタデータ） (2025-08-27T04:54:33Z)
• TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
  本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。 キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
  論文  参考訳（メタデータ） (2025-04-20T09:20:55Z)
• Feature Statistics with Uncertainty Help Adversarial Robustness [19.01087281157066]
  敵の攻撃は 特徴統計の分布を 変える傾向がある 頑健性向上のための不確実性駆動型特徴統計調整モジュールを提案する。 提案されたFSUモジュールは、トレーニング、アタック、予測、微調整に普遍的に適用可能である。
  論文  参考訳（メタデータ） (2025-03-26T14:30:33Z)
• Adversarial Robustness Overestimation and Instability in TRADES [4.063518154926961]
  TRADES は多クラス分類タスクにおける AutoAttack テストの精度と比較して,PGD の検証精度が極めて高い場合が多い。 この矛盾は、勾配マスキングに結びつく可能性のある、これらのインスタンスに対するロバストネスのかなりの過大評価を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-10-10T07:32:40Z)
• Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
  敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。 我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。 我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
  論文  参考訳（メタデータ） (2024-02-27T13:49:12Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。