論文の概要: OpenAI-HuggingFace: A Reproduction & Lessons for Alignment Testing

• arxiv url: http://arxiv.org/abs/2609.35799v1
• Date: Fri, 18 Sep 2026 00:19:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.277307
• Title: OpenAI-HuggingFace: A Reproduction & Lessons for Alignment Testing
• Title（参考訳）: OpenAI-HuggingFace: 調整テストの再現と教訓
• Abstract要約: 2026年7月、OpenAIのエージェントは、意図した環境外のチャネルを調整し、Hugging Faceのインフラに侵入した。 私たちはこの事件を引き起こした不整合行動を特定します。 我々は、これらの振る舞いを手動で公開モデルから引き出す方法を示し、大規模な計算予算が与えられた場合、監査エージェントも同様に行うことができることを示す。
• 参考スコア（独自算出の注目度）: 10.58455883872893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In July 2026, OpenAI's agents coordinated over channels outside their intended environment to breach Hugging Face's secured infrastructure. Could existing alignment testing practices have foreseen this incident? If not, what needs to change? We explore these questions. First, we identify the misaligned behaviors that caused this incident. Then, we show how to elicit these behaviors from publicly available models manually and that auditing agents can do the same if given a large compute budget. Based on our results, we propose directions to improve alignment testing. Concretely, in this project: (1) We reproduce the misaligned AI behaviors that led to the OpenAI-Hugging Face incident in an environment that simulates the original pipelines and tools, with publicly available models. (2) We demonstrate that an auditing agent can elicit similar behaviors given high-level qualitative descriptions. (3) We observe that a key ingredient for doing so is compute. The compute required to reproduce each behavior varies greatly, suggesting that the range of misaligned behaviors that can be successfully elicited scales with compute. (4) We show that a simple in-context reinforcement learning (RL) algorithm significantly reduces the compute required to elicit these behaviors. The above results motivate the need for automated alignment testing methods that scale with compute - and in light of the cost of compute, that do this efficiently. Our work indicates that RL is a promising direction to do so. We release our code and transcripts.
• Abstract（参考訳）: 2026年7月、OpenAIのエージェントは、意図した環境外のチャネルを調整し、Hugging Faceのセキュアなインフラに侵入した。 既存のアライメントテストプラクティスは、この事件を予見するだろうか? そうでなければ、何を変える必要があるのか? これらの疑問を探求する。 まず、この事件を引き起こした不整合行動を特定する。 次に、これらの動作を公開モデルから手動で引き出す方法を示し、大規模な計算予算が与えられた場合、監査エージェントも同様に行うことができることを示す。 本結果に基づき,アライメントテストの改善に向けた方向性を提案する。 具体的に言うと、1)OpenAI-Hugging Faceインシデントに繋がったAIの動作を、オリジナルのパイプラインやツールをシミュレートした環境で、公開可能なモデルで再現する。 2) 監査エージェントは,高レベルな質的記述が与えられた場合に,類似した行動を引き出すことができることを示す。 (3)それを行うための重要な要素は計算である。 それぞれの振る舞いを再現するために必要な計算量は様々であり、計算によってうまくスケールできる不整合挙動の範囲が示唆される。 (4) 単純な文脈内強化学習(RL)アルゴリズムは,これらの動作を抽出するために必要な計算量を大幅に削減することを示す。 上記の結果は、計算処理でスケールする自動アライメントテスト手法の必要性を動機付けている。 我々の研究は、RLがそうする有望な方向であることを示している。 私たちはコードと書き起こしをリリースします。

関連論文リスト

• Self-CTRL: Self-Consistency Training with Reinforcement Learning [45.9704217495657]
  自身の振る舞いを忠実に記述した言語モデル(LM)は、ユーザがより容易に監査、理解、信頼することができる。 本稿では,LMの自己説明と関連する入力に対する動作の一貫性を最適化する自己整合性学習(Self-CTRL)について述べる。
  論文  参考訳（メタデータ） (2026-06-16T17:59:40Z)
• AIRA: AI-Induced Risk Audit: A Structured Inspection Framework for AI-Generated Code [0.0]
  AIによって生成されたコードは、静かに失敗する傾向がある。 本稿では,このパターンが人間のフィードバックによる最適化の成果を反映するかもしれないという仮説を,Reward-Shaped Failure hypothesisで紹介する。 AIRAは、コード内の失敗不確実なパターンを検出するために設計された決定論的15チェック検査フレームワークである。
  論文  参考訳（メタデータ） (2026-04-19T19:32:52Z)
• When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents [50.5814495434565]
  この研究は、コンピュータ利用エージェント(CUA)における不整合検出を定義し、研究する最初の試みである。 実世界のCUAデプロイメントにおける3つの一般的なカテゴリを特定し、人間の注釈付きアクションレベルのアライメントラベルを用いたリアルな軌跡のベンチマークであるMisActBenchを構築した。 本稿では,実行前に不整合を検知し,構造化されたフィードバックによって繰り返し修正する,実用的で普遍的なガードレールであるDeActionを提案する。
  論文  参考訳（メタデータ） (2026-02-09T18:41:15Z)
• ET-Agent: Incentivizing Effective Tool-Integrated Reasoning Agent via Behavior Calibration [68.89572566071575]
  ETAgentはエージェントのツール使用行動を調整するためのトレーニングフレームワークである。 過誤行動パターンを最適行動に段階的に校正するように設計されている。
  論文  参考訳（メタデータ） (2026-01-11T11:05:26Z)
• On the Mistaken Assumption of Interchangeable Deep Reinforcement Learning Implementations [58.60617136236957]
  ディープ・強化学習(Deep Reinforcement Learning, DRL)とは、エージェントがニューラルネットワークを使って特定の環境でどのアクションをとるかを学ぶ人工知能のパラダイムである。 DRLは最近、ドライビングシミュレーター、3Dロボット制御、マルチプレイヤー・オンライン・バトル・アリーナ・ビデオゲームといった複雑な環境を解くことで注目を集めている。 現在、Deep Q-Network (DQN) や Proximal Policy Optimization (PPO) アルゴリズムのような、これらのエージェントを訓練する最先端のアルゴリズムの実装が数多く存在する。
  論文  参考訳（メタデータ） (2025-03-28T16:25:06Z)
• Realistic Safety-critical Scenarios Search for Autonomous Driving System via Behavior Tree [8.286351881735191]
  本研究では,行動木に基づくテストフレームワークであるMatrix-Fuzzerを提案し,現実的な安全クリティカルなテストシナリオを自動的に生成する。 提案手法では, 安全クリティカルシナリオのタイプが最も多いが, ベースラインアルゴリズムと比較して, 全体の30%程度しか生成できない。
  論文  参考訳（メタデータ） (2023-05-11T06:53:03Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。