論文の概要: Falling Behind Drives Unsafe Development in an Idealised AI Race Experiment

• arxiv url: http://arxiv.org/abs/2607.26034v1
• Date: Tue, 28 Jul 2026 17:44:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.95244
• Title: Falling Behind Drives Unsafe Development in an Idealised AI Race Experiment
• Title（参考訳）: フォールディングはAIレース実験で安全でない開発を加速させる
• Abstract要約: 安全でない開発は、初期の行動運動量、相手の行動、転倒の恐れから生じる可能性があることを示す。 政策は、個人のリスクだけでなく、競争のプレッシャーを減らし、AI開発における協力を促進することに焦点を当てるべきである。
• 参考スコア（独自算出の注目度）: 0.4981693804121125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Technological races create tension between speed and safety: actors may gain by moving faster than competitors, even when risky development is harmful. This is prominent in debates about artificial intelligence (AI), where competitive pressure is often argued to incentivise riskier, less safety-conscious development. We study this using a framed behavioural experiment based on an idealised AI race, in which paired participants repeatedly chose between Safe and Unsafe development under an uncertain time horizon. Unsafe development gave faster progress and higher immediate payoffs but accumulated private risk up to a treatment-specific maximum of 10\%, 60\%, or 90\%; the race's competitive structure was held constant, and only this maximum risk varied. Neither the pre-registered comparison between risk levels nor the role of elicited risk preferences was supported by the data. Instead, exploratory analyses motivated by the task's repeated structure show that Unsafe behaviour is shaped less by risk preferences than by the evolving strategic state of the race: participants are more likely to choose Unsafe after their opponent does so, being ahead reduces Unsafe play while falling behind increases it, and first-round choices predict later behaviour. To interpret these effects we introduce a reduced evolutionary model with four strategies -- Always Safe, Always Unsafe, Conditionally Safe, and Conditionally Antisocial Safe -- which reproduces the treatment effect and shows how conditional Unsafe behaviour can be favoured by competitive race dynamics. Together, the experiment and model show that unsafe development can emerge from early behavioural momentum, opponent behaviour, and fear of falling behind, rather than from risk preferences alone, suggesting policy should focus on reducing competitive pressure and promoting cooperation in AI development rather than only individual risk.
• Abstract（参考訳）: リスクの高い開発が有害である場合でも、アクターは競争相手よりも速く動くことで得られる可能性がある。 これは人工知能(AI)に関する議論で顕著であり、競争圧力はリスクが高く、安全性を意識しない開発にインセンティブを与えるとしばしば主張される。 我々は、理想化されたAIレースに基づいて、フレーム化された行動実験を用いてこれを研究し、ペアの参加者は、不確実な時間軸の下で、セーフ開発とアンセーフ開発を繰り返し選択する。 安全でない開発により、より早く進歩し、即時支払いが増加したが、私的リスクは10\%、60\%、90\%まで蓄積され、レースの競争構造は一定であり、最大リスクは様々であった。 事前登録されたリスクレベルの比較や、引き起こされたリスク選好の役割は、いずれもデータによって支持されなかった。 むしろ、タスクの繰り返し構造によって動機づけられた探索的分析は、アンセーフの行動は、人種の進化する戦略的状態よりもリスクの選好によってより少なくなることを示している。 これらの効果を解釈するために、私たちは4つの戦略 – Always Safe, Always Unsafe, Conditionally Safe, Conditionally Antisocial Safe – による進化モデルを導入しました。 実験とモデルにより、安全でない開発は、リスク選好だけでなく、早期の行動運動量、反対の行動、そして遅れを恐れることから生じる可能性があることが示され、政策は、個人のリスクだけでなく、競争的な圧力を減らし、AI開発における協力を促進することに焦点を当てるべきである、と示唆された。

関連論文リスト

• Toward Machine Risk Perception: Integrating Trust Calibration and Precursor-Based Risk Estimation for Humanoid [2.3816560754483658]
  本研究は, プロアクティブなヒューマノイドリスク認識を実現するための, 前駆者主導の信頼校正フレームワークを提案する。 信頼は推定された事故確率の逆で定義され、ヒューマノイドはリアルタイムで行動に適応することができる。 その結果,産業5.0環境におけるリスク認識と信頼性の高い人間ロボットコラボレーションの基礎が確立された。
  論文  参考訳（メタデータ） (2026-06-18T00:04:02Z)
• On Safety Risks in Experience-Driven Self-Evolving Agents [78.82066774532676]
  本研究では, 自己進化型エージェントの蓄積と利用が, Web ベースおよび実施環境における安全性能に与える影響について検討する。 本研究は,現在の自己進化剤の限界を明らかにするとともに,安全で信頼性の高い適応を確実にするための,より原則化された戦略を求めるものである。
  論文  参考訳（メタデータ） (2026-04-18T11:32:36Z)
• Trust as Monitoring: Evolutionary Dynamics of User Trust and AI Developer Behaviour [59.27481013639016]
  我々は、安全と安全でないAIのユーザー信頼戦略と開発者選択が、異なるレベルの監視コストと制度体制の下でどのように共存するかを研究する。 安全でない開発への採用、安全でないが広く採用されているシステム、そして広く採用されている安全なシステムです。
  論文  参考訳（メタデータ） (2026-03-25T19:04:23Z)
• The Missing Half: Unveiling Training-time Implicit Safety Risks Beyond Deployment [148.80266237240713]
  暗黙のトレーニング時間安全リスクは、モデルの内部インセンティブとコンテキスト背景情報によって引き起こされる。 5つのリスクレベル、10つのきめ細かいリスクカテゴリ、3つのインセンティブを持つ分類を導入した。 我々の結果は、過度に見過ごされているが、訓練における緊急の安全上の課題を特定します。
  論文  参考訳（メタデータ） (2026-02-04T04:23:58Z)
• Constrained Language Model Policy Optimization via Risk-aware Stepwise Alignment [49.2305683068875]
  本稿では,リスク認識を政策最適化プロセスに組み込んだ新しいアライメント手法であるリスク対応ステップワイドアライメント(RSA)を提案する。 RSAは、過剰なモデルシフトによって引き起こされるリスクを基準方針から緩和し、低確率で高影響の有害な振る舞いを明示的に抑制する。 実験により, 本手法は高い安全性を確保しつつ, 高い安全性を達成できることが確認された。
  論文  参考訳（メタデータ） (2025-12-30T14:38:02Z)
• Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
  コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。 Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。 私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
  論文  参考訳（メタデータ） (2025-09-02T03:04:27Z)
• A Counterfactual Safety Margin Perspective on the Scoring of Autonomous Vehicles' Riskiness [52.27309191283943]
  本稿では,異なるAVの行動のリスクを評価するためのデータ駆動型フレームワークを提案する。 本稿では,衝突を引き起こす可能性のある名目行動から最小限の偏差を示す,対実的安全マージンの概念を提案する。
  論文  参考訳（メタデータ） (2023-08-02T09:48:08Z)
• Temporal Evolution of Risk Behavior in a Disease Spread Simulation [0.0]
  ブタ農場のネットワークにおける病気の拡散をシミュレートする実験ゲームを用いて、体験からの学習が1000ドル以上のプレイヤーのリスク回避にどのように影響するかを測定する。 その結果, リスク耐性群は, リスク回避群よりも感染の可能性が50%以上高いことがわかった。 このシミュレートされた設定におけるプレイヤーの行動戦略は、望ましくないバイオセキュリティ関連リスク回避の選好を特定する早期警告信号として使用できる。
  論文  参考訳（メタデータ） (2023-05-26T03:08:21Z)
• Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
  リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。 特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。 迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
  論文  参考訳（メタデータ） (2022-05-10T19:40:52Z)
• SAAC: Safe Reinforcement Learning as an Adversarial Game of Actor-Critics [11.132587007566329]
  そこで我々は,SAACと呼ばれるソフトアクター批判フレームワークを開発した。 SAACでは、RLエージェントが制約値関数の最大化を目標として、安全制約を破ることを目的としている。 安全性の制約を満たすために,SAACはより早く収束し,効率が良く,障害が少なくなることを示す。
  論文  参考訳（メタデータ） (2022-04-20T12:32:33Z)
• Addressing Inherent Uncertainty: Risk-Sensitive Behavior Generation for Automated Driving using Distributional Reinforcement Learning [0.0]
  自動運転車におけるリスク感応行動生成のための2段階のアプローチを提案する。 まず, 深層分布強化学習を用いて, 不確実な環境下で最適政策を学習する。 実行中は、確立されたリスク基準を適用して最適なリスク感受性行動を選択する。
  論文  参考訳（メタデータ） (2021-02-05T11:45:12Z)
• Mediating Artificial Intelligence Developments through Negative and Positive Incentives [5.0066859598912945]
  ポジティブな(リワード)インセンティブとネガティブな(罰)インセンティブが結果にどう影響するかを検討する。 いくつかのシナリオにおいて、安全対策に従う者に報酬を与えると、開発速度が向上し、安全な選択が保証されることが示されている。
  論文  参考訳（メタデータ） (2020-10-01T13:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。