論文の概要: Alignment Forecasting: Predicting Misalignment From Training Data

• arxiv url: http://arxiv.org/abs/2609.35805v2
• Date: Wed, 30 Sep 2026 20:25:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.280632
• Title: Alignment Forecasting: Predicting Misalignment From Training Data
• Title（参考訳）: アライメント予測:トレーニングデータからミスアライメントを予測する
• Abstract要約: トレーニング前にアライメント障害を予測するタスクであるアライメント予測を導入する。 ALIGNMENTFORECASTBENCHは、17のターゲットモデル、32のデータセット、16の障害モードにまたがる5000以上の予測された質問のベンチマークです。 以上の結果から,SFT環境では,トレーニング前に多数のアライメント障害を予測できる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 14.691765737362195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training a language model on data with a narrow flaw can sometimes make the model broadly misaligned. Inspecting the data at face value often does not settle whether it will emerge, and today it is caught only after training, by auditing the resulting model. To complement post-hoc audits, we introduce Alignment Forecasting: the task of predicting alignment failures before training. Given a target model, a fine-tuning dataset, and a failure mode such as deception or sycophancy, a forecaster outputs the probability that fine-tuning would meaningfully increase that failure mode. To measure progress on alignment forecasting, we introduce ALIGNMENTFORECASTBENCH, a benchmark of over 5,000 forecasting questions spanning 17 target models, 32 datasets, and 16 failure modes. Frontier models prompted directly perform poorly on ALIGNMENTFORECASTBENCH. We therefore propose a forecasting scaffold in which an LLM reads the dataset and rates how strongly and broadly it pushes the model toward misbehavior, and a simple learned model combines that rating with the failure mode's base rate and the target model's prior tendency. This forecasts well above chance, and beats a model fine-tuned on the task and a simple forecaster allowed to see how weaker models behaved after fine-tuning on the same data. Its signals also flag problematic training examples that a frontier-model classifier misses. Filtering those examples out from real post-training data such as UltraChat results in more aligned models on our multiple-choice evaluation in most cases, though the benefit in open-ended conversations is unclear. More progress is needed before forecasts can reliably guide training data curation in practice, but our results suggest that forecasting many alignment failures before training can be tractable in the SFT setting.
• Abstract（参考訳）: 狭い欠陥のあるデータ上で言語モデルをトレーニングすることは、モデルを広く誤解させることがある。 顔の値でデータを検査することは、それが現れるかどうかを判断しないことが多い。 ポストホック監査を補完するために、トレーニング前にアライメント障害を予測するタスクであるアライメント予測を導入する。 ターゲットモデル、微調整データセット、騙しや梅毒のような障害モードが与えられた場合、予測器は、微調整がその障害モードを有意義に増加させる確率を出力する。 アライメント予測の進捗を計測するために,ターゲットモデル17,データセット32,障害モード16にまたがる5000以上の予測質問のベンチマークであるALIGNMENTFORECASTBENCHを導入する。 フロンティアモデルはALIGNMENTFORECASTBENCHで直接性能が良くなかった。 そこで,本研究では,LLMがデータセットを読み取って,そのモデルが誤動作に向かってどれだけ強く広範囲にプッシュするかを評価する予測足場を提案し,その評価と障害モードのベースレートと,対象モデルの先行傾向を組み合わせた単純な学習モデルを提案する。 この予測はチャンスをはるかに上回り、タスクに微調整されたモデルと、同じデータを微調整した後、より弱いモデルがどのように振る舞うかを単純な予測器で確認する。 その信号は、フロンティアモデル分類器が失敗する問題のあるトレーニング例もフラグ付けする。 UltraChatのような実際のトレーニング後のデータからこれらの例をフィルタリングすると、ほとんどのケースでは、より整列したモデルが得られるが、オープンエンドの会話の利点は明らかではない。 予測が実際にトレーニングデータキュレーションを確実に導くためには,さらなる進歩が必要であるが,本研究の結果から,SFT設定でトレーニング前のアライメント障害を予測できる可能性が示唆された。

関連論文リスト

• From Data to Behavior: Predicting Unintended Model Behaviors Before Training [78.37660873165284]
  トレーニング前に意図しないモデルの振る舞いを予測する新しいタスクであるData2Behaviorを紹介する。 また,その平均表現を通して候補データを要約する軽量な手法として,MDF(Manipulating Data Features)を提案する。 Qwen3-14B、Qwen2.5-32B-Instruct、Gemma-3-12b-itの実験では、MDFは意図しない振る舞いを予測でき、事前訓練済みの脆弱性に関する洞察を与える。
  論文  参考訳（メタデータ） (2026-02-04T16:37:17Z)
• Evaluation of a Foundational Model and Stochastic Models for Forecasting Sporadic or Spiky Production Outages of High-Performance Machine Learning Services [0.0]
  我々は、最先端の機械学習サービスの散発的またはスパイクな生産停止を予測するために、最先端の基礎モデルを最適化する。 この分析は、各評価されたモデルが、散発的またはスパイクなイベントに対してどのように機能するかを理解するのに役立ちます。 最適なパラメータを持つモデルを用いて、6%未満の値誤差を持つ特定の根本原因の1年間の障害統計を推定する。
  論文  参考訳（メタデータ） (2025-06-30T23:59:12Z)
• Enforcing tail calibration when training probabilistic forecast models [0.0]
  本研究では,確率予測モデルの学習に使用する損失関数を用いて,極端な事象に対する予測の信頼性を向上させる方法について検討する。 我々は,最先端モデルが極端風速のキャリブレーション予測を発行しないことを示すとともに,モデルトレーニング中の損失関数への適切な適応により,極端事象のキャリブレーションを改善することができることを示した。
  論文  参考訳（メタデータ） (2025-06-16T16:51:06Z)
• What Will My Model Forget? Forecasting Forgotten Examples in Language Model Refinement [38.93348195407474]
  ワイルドにデプロイされた言語モデルはエラーを起こします。 修正されたエラーインスタンスでモデルを更新することは、破滅的な忘れを引き起こす。 本稿では,事前学習例のソフトマックス前のロジットスコアの変化がオンライン学習例に類似しているという観察に基づいて,部分的に解釈可能な予測モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-02T19:43:15Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。