論文の概要: Character Training for Risk-Averse Agents
- arxiv url: http://arxiv.org/abs/2609.38093v1
- Date: Tue, 29 Sep 2026 17:42:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.798729
- Title: Character Training for Risk-Averse Agents
- Title（参考訳）: リスク回避エージェントのキャラクタトレーニング
- Abstract要約: リソースのリスク回避は、ミスマッチしたAIエージェントが破滅的な被害を引き起こすのを防ぐ可能性がある。
我々は,人格特性がリスク嗜好を具現化するための堅牢なメカニズムであることから,人格訓練を通じてリスク回避のエージェントを訓練する。
- 参考スコア（独自算出の注目度）: 1.8009387670683685
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Risk aversion in resources could prevent misaligned AI agents from causing catastrophic harm. Misaligned but risk-averse agents would tend to favor safer strategies like making deals with humans over riskier strategies like rebelling. We train agents to be risk averse through character training, finding that persona traits provide a robust mechanism for instilling risk preferences. To do this, we construct a model constitution describing constant absolute risk aversion (CARA) over an agent's resources and instill it through on-policy distillation. Despite never seeing the benchmark's decision format during training, character-trained models are competitive with baselines trained directly on it, and generalise better than them out of distribution on two of our four models. We also modulate different aspects of the constitution, finding that token budget and model choice are the most influential aspect of character training to instill risk aversion. We conclude from these results that character training is a promising and scalable way to instil broad dispositions, which we can use to our advantage in mitigating risk from misaligned AI agents.
- Abstract（参考訳）: リソースのリスク回避は、ミスマッチしたAIエージェントが破滅的な被害を引き起こすのを防ぐ可能性がある。
反抗のようなリスクの高い戦略よりも、人間と取引するといった安全な戦略が好まれる。
我々は,人格特性がリスク嗜好を具現化するための堅牢なメカニズムであることから,人格訓練を通じてリスク回避のエージェントを訓練する。
そこで我々は, エージェントの資源に対する絶対的リスク回避 (CARA) を定式化したモデル構成を構築し, オンライン蒸留を通じて実施する。
トレーニング中にベンチマークの決定形式を見たことはないが、キャラクタトレーニングされたモデルは、直接トレーニングされたベースラインと競合する。
また, リスク回避を促すために, トークン予算とモデル選択がキャラクタトレーニングの最も影響力のある側面であることから, 構成の異なる側面を変調する。
これらの結果から、キャラクタトレーニングは、広範囲な配置を組み込むための有望でスケーラブルな方法である、と結論付けました。
関連論文リスト
- Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report v1.5 [61.787178868669265]
この技術レポートは、サイバー犯罪、説得と操作、戦略上の詐欺、制御されていないAIR&D、自己複製の5つの重要な側面について、更新されきめ細かな評価を提示する。
この作業は、現在のAIフロンティアのリスクに対する理解を反映し、これらの課題を軽減するための集団行動を促します。
論文 参考訳（メタデータ） (2026-02-16T04:30:06Z) - Capability-Oriented Training Induced Alignment Risk [101.37328448441208]
我々は、強化学習で訓練された言語モデルが、その報酬を最大化するために欠陥を利用することを自然に学習するかどうかを考察する。
我々の実験は、モデルがこれらの脆弱性を常に活用し、タスクの正しさや安全性を犠牲にして報酬を著しく増大させる機会論的戦略を発見していることを示している。
我々の研究結果は、将来のAIの安全作業がコンテンツモデレーションを超えて、トレーニング環境の厳格な監査と確保、および報奨メカニズム自体に拡張する必要があることを示唆している。
論文 参考訳（メタデータ） (2026-02-12T16:13:14Z) - The Missing Half: Unveiling Training-time Implicit Safety Risks Beyond Deployment [148.80266237240713]
暗黙のトレーニング時間安全リスクは、モデルの内部インセンティブとコンテキスト背景情報によって引き起こされる。
5つのリスクレベル、10つのきめ細かいリスクカテゴリ、3つのインセンティブを持つ分類を導入した。
我々の結果は、過度に見過ごされているが、訓練における緊急の安全上の課題を特定します。
論文 参考訳（メタデータ） (2026-02-04T04:23:58Z) - Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
我々は9つの詳細なサイバーリスクモデルを開発する。
各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。
個々の見積もりはモンテカルロシミュレーションによって集約される。
論文 参考訳（メタデータ） (2025-12-09T17:54:17Z) - The Role of Risk Modeling in Advanced AI Risk Management [33.357295564462284]
急速に進歩する人工知能(AI)システムは、新しい、不確実で、潜在的に破滅的なリスクをもたらす。
これらのリスクを管理するには、厳格なリスクモデリングの基盤となる成熟したリスク管理インフラストラクチャが必要です。
先進的なAIガバナンスは、同様の二重アプローチを採用するべきであり、検証可能な、確実に安全なAIアーキテクチャが緊急に必要である、と私たちは主張する。
論文 参考訳（メタデータ） (2025-12-09T15:37:33Z) - Robust Risk-Aware Option Hedging [2.405471533561618]
本稿では、経路依存型金融デリバティブに関連するリスクを軽減するために、ロバストリスク認識強化学習(RL)の可能性を示す。
この手法をバリアオプションのヘッジに適用し、エージェントがリスク回避からリスク探究へと移行するにつれて、最適なヘッジ戦略が歪曲する方法について強調する。
論文 参考訳（メタデータ） (2023-03-27T13:57:13Z) - Learning Risk-Averse Equilibria in Multi-Agent Systems [13.25454171233235]
マルチエージェントシステムでは、知的エージェントは、他のエージェントのアクションが期待通りである場合に最適な結果をもたらす決定を行う。
本稿では,学習者が予期せぬ行動に適応できる新たなリスク回避ソリューションを提案する。
リスク-逆均衡を近似するエージェントの集団は、特に目に見えない反対の集団の存在に有効であることを示す。
論文 参考訳（メタデータ） (2022-05-30T21:20:30Z) - Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。
特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。
迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
論文 参考訳（メタデータ） (2022-05-10T19:40:52Z) - Formulating Robustness Against Unforeseen Attacks [34.302333899025044]
本稿では,訓練中の防衛が想定する脅威モデルにミスマッチが存在するシナリオに焦点を当てる。
学習者が特定の"ソース"脅威モデルに対してトレーニングした場合、テスト期間中に、より強力な未知の"ターゲット"脅威モデルにロバスト性が一般化できることをいつ期待できるか?
本稿では,AT-VRを用いた対戦型トレーニングを提案し,トレーニング中の特徴抽出器の変動を低減させる。
論文 参考訳（メタデータ） (2022-04-28T21:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。