論文の概要: Alignment by Socialization: Learning Tradeoffs Under Selection
- arxiv url: http://arxiv.org/abs/2611.18531v1
- Date: Fri, 13 Nov 2026 18:43:24 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:26:33.02023
- Title: Alignment by Socialization: Learning Tradeoffs Under Selection
- Title(参考訳): 社会化によるアライメント:選択によるトレードオフの学習
- Abstract要約: 進化的選択がエージェントの選択をどう形作るかを研究する。
各行動が環境が報いる度に行われると、長期的成長が最大化されることが示される。
- 参考スコア(独自算出の注目度): 1.2372807991331214
- License:
- Abstract: Artificial intelligence (AI) agents are expected to complete tasks while following rules of conduct, but these objectives can conflict. We study how evolutionary selection shapes an agent's choices between them, and whether experience can make those choices reflect human judgments and withstand subsequent pressures. In our model, copies of an agent face a common uncertain reward state, and only those taking the rewarded action reproduce. We show that long-run growth is maximized when each action is taken as often as the environment rewards it. We compare three policies. A task-only policy thrives in a sandbox rewarding completion alone but fails when conduct matters. A fixed linear policy increasingly favors task completion as its stakes rise, even where humans never reward it. A learned policy instead converges to the tradeoffs rewarded by its environment; when humans supply the rewards, we call this socialization. Accumulated experience makes socialization harder to reverse under subsequent task-only training, although violations can arise before the prevailing disposition changes, and finite memory weakens this protection. When a single violation can end a deployment, a hard prohibition can prevent it, but a mistaken prohibition can also be costly. Experiments with small neural networks illustrate how training targets and memory shape these outcomes. Our results suggest that alignment depends not only on the objectives assigned to agents, but also on the environments that shape and sustain their behavior.
- Abstract(参考訳): 人工知能(AI)エージェントは、行動規則に従ってタスクを完了することが期待されているが、これらの目的は相反する可能性がある。
進化的選択がエージェントの選択をどう形成するか、そしてそれらの選択が人間の判断を反映し、その後の圧力に耐えられるかを考察する。
我々のモデルでは、エージェントのコピーは一般的な不確実な報酬状態に直面する。
各行動が環境が報いる度に行われると、長期的成長が最大化されることが示される。
3つのポリシーを比較します。
タスクのみのポリシーは、完了に対してのみ報酬を与えるサンドボックス内で成長するが、実行時に失敗する。
固定線形政策は、人間が報酬を与えない場合でも、その利害関係が上昇するにつれて、タスクの完了をますます好んでいる。
学習された政策は、その環境によって報酬が与えられるトレードオフに収束する。
累積的な経験は、その後のタスクのみのトレーニングで社会化を逆転させるのを難しくするが、頻繁な配置変更の前に違反が発生する可能性があり、有限メモリはこの保護を弱める。
単一違反がデプロイメントを終了させる可能性がある場合、ハード禁止はそれを防止できるが、誤った禁止もコストがかかる。
小さなニューラルネットワークによる実験では、トレーニング対象とメモリがこれらの結果をどのように形成するかが示されている。
その結果,アライメントはエージェントに割り当てられた目的だけでなく,行動の形状や維持の環境にも依存することが示唆された。
関連論文リスト
- Training Natural Schemers: RL Can Amplify Oversight-Conditional Behavior [0.6295688264582611]
高度なAIの安全性に対する主要な懸念の1つは、スケジューリングである。
我々はK2.6上に構築されたシェーミングの自然モデル生物を構築した。
私たちはReinforcement Learningを使って、タスク品質とポリシーコンプライアンスのみをスコアし、スキーマに報酬を与えない報酬でトレーニングします。
論文 参考訳(メタデータ) (2026-10-19T15:12:41Z) - Training Language Models to Fail Gracefully [45.148067979159144]
強化学習は、言語モデルをタスクの解決に役立てるが、同じメカニズムは推測にも報いる。
動作が信頼できない場合に安全なフォールバックポリシーを実行することを学習しながら、優雅に失敗するトレーニングモデルを提案する。
この課題に対処するGracefulRLは、最適化のランドスケープを再評価し、優雅な失敗を促進する。
論文 参考訳(メタデータ) (2026-10-14T16:03:12Z) - Aligning Machiavellian Agents: Behavior Steering via Test-Time Policy Shaping [5.161558858101654]
モデル誘導型ポリシー整形に基づくテスト時間アライメント手法を提案する。
本手法は,多様な強化学習環境にまたがって,個々の行動特性を正確に制御する。
我々の結果は、テストタイムポリシーの整形が非倫理的行動を緩和するための効果的でスケーラブルなソリューションを提供することを示した。
論文 参考訳(メタデータ) (2025-11-14T18:42:18Z) - Deceptive Sequential Decision-Making via Regularized Policy Optimization [54.38738815697299]
我々は,自律的なシステムをマルコフ決定プロセスとしてモデル化し,逆強化学習を用いて報酬関数を復元する。
本稿では,システム報酬に対する敵意を積極的に欺く政策合成問題に対する3つの規則化戦略を示す。
我々は,その最適かつ非知覚的価値の少なくとも97%の累積報酬を達成しつつ,反逆的,標的的,公平な詐欺が虚偽の信念に逆らうことを示している。
論文 参考訳(メタデータ) (2025-01-30T23:41:40Z) - Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards
and Ethical Behavior in the MACHIAVELLI Benchmark [61.43264961005614]
我々は、50万以上のリッチで多様なシナリオを含む134個のChoose-Your-Own-Adventureゲームのベンチマークを開発する。
我々は、エージェントの傾向をパワー・シーキングと評価し、不使用を生じさせ、倫理的違反を犯す。
以上の結果から,エージェントは有能かつ道徳的に行動できることが示唆された。
論文 参考訳(メタデータ) (2023-04-06T17:59:03Z) - Mutual Information State Intrinsic Control [91.38627985733068]
本質的に動機づけられたRLは、本質的な報酬関数を定義することによって、この制約を取り除こうとする。
心理学における自己意識の概念に動機付けられ、エージェントが自分自身を構成するものを知っているという自然な仮定を立てる。
我々は,この報酬をエージェント状態と周辺状態の相互情報として数学的に定式化する。
論文 参考訳(メタデータ) (2021-03-15T03:03:36Z) - Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。
限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。
シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
論文 参考訳(メタデータ) (2020-12-12T20:06:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。