論文の概要: Murphys Laws of AI Alignment: Why the Gap Always Wins
- arxiv url: http://arxiv.org/abs/2509.05381v2
- Date: Wed, 10 Sep 2025 14:35:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-11 13:12:05.591252
- Title: Murphys Laws of AI Alignment: Why the Gap Always Wins
- Title（参考訳）: マーフィーのAIアライメントの法則:なぜいつも勝つのか
- Authors: Madhava Gaikwad,
- Abstract要約: 人間のフィードバック(RLHF)からの強化学習における形式的不合理性の結果を証明する。
有界なクエリ予算を持つ不特定環境では、任意のRLHFスタイルの学習者は、キャリブレーションオラクルにアクセスできない限り、既約のパフォーマンスギャップを被る。
以上の結果から,Murphys Gap は RLHF の診断限界であり,キャリブレーションと因果選好チェックに関する今後の研究の指針であると考えられた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We prove a formal impossibility result for reinforcement learning from human feedback (RLHF). In misspecified environments with bounded query budgets, any RLHF-style learner suffers an irreducible performance gap Omega(gamma) unless it has access to a calibration oracle. We give tight lower bounds via an information-theoretic proof and show that a minimal calibration oracle suffices to eliminate the gap. Small-scale empirical illustrations and a catalogue of alignment regularities (Murphy's Laws) indicate that many observed alignment failures are consistent with this structural mechanism. Our results position Murphys Gap as both a diagnostic limit of RLHF and a guide for future work on calibration and causal preference checks.
- Abstract（参考訳）: 我々は,人間からのフィードバック(RLHF)からの強化学習において,形式的不合理性を証明した。
有界なクエリ予算を持つ不特定環境では、任意のRLHFスタイルの学習者は、キャリブレーションオラクルにアクセスできない限り、既約のパフォーマンスギャップを被る。
情報理論の証明により, 厳密な下界を与え, 最小限の校正オラクルがギャップをなくすのに十分であることを示す。
小規模の実証図面とアライメント正則性のカタログ(マーフィーの法則)は、多くの観測されたアライメント障害がこの構造機構と一致していることを示している。
以上の結果から,Murphys Gap は RLHF の診断限界であり,キャリブレーションと因果選好チェックに関する今後の研究の指針であると考えられた。
関連論文リスト
- Deliberative Alignment: Reasoning Enables Safer Language Models [64.60765108418062]
モデルセーフティ仕様を教える新しいパラダイムであるDeliberative Alignmentを紹介します。
このアプローチを使ってOpenAIのoシリーズモデルを整列させ、人書きのチェーンや回答を必要とせず、OpenAIの安全ポリシーに極めて正確な順守を実現しました。
論文 参考訳（メタデータ） (2024-12-20T21:00:11Z) - Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization [78.82586283794886]
$chi2$-Preference Optimization(chi$PO)は、オーバー最適化に対して確実に堅牢なオフラインアライメントアルゴリズムである。
$chi$POは、正規化による不確実性に直面して悲観主義の原理を実装している。
$chi$POの単純さと強力な保証により、オーバー最適化に対して確実に堅牢な、実用的で汎用的なオフラインアライメントアルゴリズムとなった。
論文 参考訳（メタデータ） (2024-07-18T11:08:40Z) - Understanding the Learning Dynamics of Alignment with Human Feedback [17.420727709895736]
本稿では,人間の嗜好アライメントの学習力学を理論的に解析する試みについて述べる。
選好データセットの分布がモデル更新率にどのように影響するかを示し、トレーニング精度に厳密な保証を与える。
論文 参考訳（メタデータ） (2024-03-27T16:39:28Z) - Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。
一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
論文 参考訳（メタデータ） (2024-01-21T10:46:23Z) - REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。
近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。
本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
論文 参考訳（メタデータ） (2023-12-22T04:56:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。