論文の概要: Predicting LLM Safety Before Release by Simulating Deployment

• arxiv url: http://arxiv.org/abs/2607.07184v1
• Date: Wed, 08 Jul 2026 09:17:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.341069
• Title: Predicting LLM Safety Before Release by Simulating Deployment
• Title（参考訳）: デプロイのシミュレーションによるリリース前のLCMの安全性予測
• Abstract要約: デプロイ前の安全性評価は、新しいAIモデルをリリースする下流のリスクを通知することを目的としている。 ほとんどの評価は、デプロイにおいて望ましくないモデル動作がどれだけ頻繁に発生するかという限定的な証拠を提供する。 我々は、公開チャットデータセットからデプロイメントシミュレーションをシードし、生産ミス行動率について情報を提供し続けることを示す。
• 参考スコア（独自算出の注目度）: 5.628199352593384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-deployment safety evaluations aim to inform the downstream risks of releasing a new AI model. Yet most evaluations provide limited evidence about how often undesired model behavior will occur in deployment: they generally have insufficient coverage, are unrepresentative, and are generally recognizable as tests. To address these concerns, we study a simple way to simulate a model deployment: starting from de-identified conversations from a previous model deployment, we hold fixed the initial conversation prefix and regenerate the next response using a candidate model. The resulting responses can then both be audited for novel misalignments and used to estimate the prevalence of model misbehavior before deployment. We evaluate deployment simulation across four GPT-5-series deployments, using registered, outcome-blinded predictions for GPT-5.4 and retrospective analyses of three earlier releases. We find that deployment simulation produces informative estimates of post-deployment misbehavior rates and outperforms baselines based on adversarially selected production data; its evaluation-awareness point estimates were also much closer to production traffic than those from traditional evaluations. We also identify the realism of tool resampling as a central challenge for further improving predictions and share results suggesting that this challenge is surmountable even in complex tool-use settings. Finally, we show that deployment simulation can be seeded from public chat datasets and remain informative about production misbehavior rates, suggesting a path for external researchers to run deployment-grounded evaluations without access to private production logs. Overall, deployment simulation helps evaluators forecast how language models will behave in the real world and supports more quantitative assessment of deployment risk.
• Abstract（参考訳）: デプロイ前の安全性評価は、新しいAIモデルをリリースする下流のリスクを通知することを目的としている。 一般的にはカバレッジが不十分で、表現不能で、一般的にテストとして認識される。 これらの問題に対処するために、我々はモデル配置をシミュレートする簡単な方法を探る: 以前のモデル配置から分離された会話から始めて、最初の会話プレフィックスを固定し、候補モデルを使用して次のレスポンスを再生する。 結果として得られた応答は、どちらも新しいミスアライメントのために監査され、デプロイ前のモデル誤動作の頻度を推定するために使用される。 我々は,GPT-5シリーズの4シリーズの展開シミュレーションを,GPT-5.4の登録,成果報告の予測,および3つの先行リリースの振り返り分析を用いて評価した。 展開シミュレーションは, 敵意的に選択された生産データに基づいて, 展開後の誤動作率の情報的推定を行い, ベースラインを上回り, 評価・認識点推定も従来の評価結果よりも生産トラフィックにかなり近かった。 また,ツール・リサンプリングの現実性は,複雑なツール・ユース・セッティングにおいても,この課題が克服可能であることを示唆する予測と結果の共有において中心的な課題であると考えている。 最後に、公開チャットデータセットからデプロイメントシミュレーションをシードし、プロダクションの誤動作率について情報を提供し続けることを示し、外部の研究者がプライベートなプロダクションログにアクセスせずにデプロイメントベース評価を実行するための道筋を示唆する。 全体として、デプロイメントシミュレーションは、言語モデルが現実世界でどのように振る舞うかを予測するのに役立ち、デプロイメントリスクのより定量的な評価をサポートする。

関連論文リスト

• Improving Evaluation Realism with Inference-Time Compute and Deployment Scaffolds [35.96704508133401]
  2つの手法により、シミュレーションアライメントの評価を実際のデプロイメントと区別しにくくする。 Dish(Deployment-Imitating SWE-Agent Harness)はエージェントハーネスでターゲットをラップし、シミュレートされた環境と実際のデプロイメント環境の間のギャップを減らす。 その結果,自動アプローチはアライメント評価の現実性を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2026-09-02T08:47:34Z)
• Data Leakage Inflates Generalizability of Power Outage Prediction Models [0.9558392439655014]
  一般化能力に影響を与える停電予測モデルにおける3つの一般的な方法論的選択を同定する。 2018年から2023年にかけて、米国東海岸で公開されているデータを用いて、さまざまな方法論決定の予測的パフォーマンスへの影響を比較した。 ランダムな列車試験の分割は高い性能をもたらすが、これらの結果は空間的および時間的自己相関によって膨らませられることを示す。 これらの結果は、現在のデータ可用性と評価のプラクティスを考えると、公的に訓練された停止予測モデルが限られた運用価値と不確実な運用価値を提供することを示唆している。
  論文  参考訳（メタデータ） (2026-08-25T15:05:55Z)
• Bounding the Causal Impact of ML-assisted Decision-Making via Counterfactual Correctness [2.9267249513932008]
  本稿では,新しいモデルの因果的効果に対する境界を構築するための部分同定手法を提案する。 このアプローチの中核的な革新は、詳細な予測精度に関する仮定を下流の結果に活用することである。
  論文  参考訳（メタデータ） (2026-07-23T20:45:10Z)
• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• From Data to Behavior: Predicting Unintended Model Behaviors Before Training [78.37660873165284]
  トレーニング前に意図しないモデルの振る舞いを予測する新しいタスクであるData2Behaviorを紹介する。 また,その平均表現を通して候補データを要約する軽量な手法として,MDF(Manipulating Data Features)を提案する。 Qwen3-14B、Qwen2.5-32B-Instruct、Gemma-3-12b-itの実験では、MDFは意図しない振る舞いを予測でき、事前訓練済みの脆弱性に関する洞察を与える。
  論文  参考訳（メタデータ） (2026-02-04T16:37:17Z)
• Uncertainty Quantification for Regression using Proper Scoring Rules [76.24649098854219]
  CRPS,対数,2乗誤差,2次スコアなど,適切なスコアリングルールに基づく回帰のための統一的UQフレームワークを提案する。 実測パラメトリックな仮定に基づく不確実性尺度に対する閉形式式を導出し、モデルのアンサンブルを用いてそれらを推定する方法を示す。 合成および実世界の回帰データセットに対する広範な評価は、信頼性の高いUQ尺度を選択するためのガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-09-30T17:52:12Z)
• TRACE: A Self-Improving Framework for Robot Behavior Forecasting with Vision-Language Models [1.3408365072149797]
  反応剤の短期的挙動を予測することは、多くのロボットシナリオにおいて重要である。 本稿では,ツリー・オブ・ソート・ジェネレーションとドメイン・アウェア・フィードバックを結合した推論フレームワークTRACEを提案する。 我々は,地上車両シミュレーションと実世界海面車両の両面においてTRACEを検証した。
  論文  参考訳（メタデータ） (2025-03-02T06:58:02Z)
• Forecasting Rare Language Model Behaviors [20.712406244928832]
  提案手法は,評価中のテストよりも,桁違いに多くのクエリに対して潜在的なリスクを予測できる手法である。 我々の予測は、最大3桁のクエリボリュームで、様々な望ましくない振る舞いの出現を予測することができる。 私たちの作業により、モデル開発者は大規模なデプロイメント中に現れる前に、稀な障害を積極的に予測し、パッチを当てることができます。
  論文  参考訳（メタデータ） (2025-02-24T03:16:15Z)
• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Towards Motion Forecasting with Real-World Perception Inputs: Are End-to-End Approaches Competitive? [93.10694819127608]
  実世界の知覚入力を用いた予測手法の統一評価パイプラインを提案する。 我々の詳細な調査では、キュレートされたデータから知覚ベースのデータへ移行する際の大きなパフォーマンスギャップが明らかになりました。
  論文  参考訳（メタデータ） (2023-06-15T17:03:14Z)
• Scenario-based Evaluation of Prediction Models for Automated Vehicles [0.0]
  自動運転車の安全性評価における評価の実践はシナリオベースで実施されるべきである。 オープンモーションデータセットの軌跡を捉えた動きの種類に応じて分類する。 その結果, 共通評価手法は不十分であり, モデルが動作するアプリケーションに応じて評価を行う必要があることがわかった。
  論文  参考訳（メタデータ） (2022-10-11T09:45:43Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。