論文の概要: Implementing surrogate goals for safer bargaining in LLM-based agents

• arxiv url: http://arxiv.org/abs/2604.04341v1
• Date: Mon, 06 Apr 2026 01:28:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.052691
• Title: Implementing surrogate goals for safer bargaining in LLM-based agents
• Title（参考訳）: LLMエージェントの安全性向上のためのサロゲート目標の実現
• Authors: Caspar Oesterheld, Maxime Riché, Filip Sondej, Jesse Clifton, Vincent Conitzer,
• Abstract要約: 代理的なゴールは、プリンシパルがAIエージェントを与えることができ、プリンシパルが関心を持つものからエージェントに対する脅威を逸脱させることである。 本稿では,言語モデルに基づくエージェントにおいて,サロゲート目標を実現する。 提案手法は,プロンプト,ファインチューニング,足場構築の4つの手法である。
• 参考スコア（独自算出の注目度）: 29.373429249713023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surrogate goals have been proposed as a strategy for reducing risks from bargaining failures. A surrogate goal is goal that a principal can give an AI agent and that deflects any threats against the agent away from what the principal cares about. For example, one might make one's agent care about preventing money from being burned. Then in bargaining interactions, other agents can threaten to burn their money instead of threatening to spending money to hurt the principal. Importantly, the agent has to care equally about preventing money from being burned as it cares about money being spent to hurt the principal. In this paper, we implement surrogate goals in language-model-based agents. In particular, we try to get a language-model-based agent to react to threats of burning money in the same way it would react to "normal" threats. We propose four different methods, using techniques of prompting, fine-tuning, and scaffolding. We evaluate the four methods experimentally. We find that methods based on scaffolding and fine-tuning outperform simple prompting. In particular, fine-tuning and scaffolding more precisely implement the desired behavior w.r.t. threats against the surrogate goal. We also compare the different methods in terms of their side effects on capabilities and propensities in other situations. We find that scaffolding-based methods perform best.
• Abstract（参考訳）: リスク回避の戦略として、サロゲート目標が提案されている。 代理的なゴールは、プリンシパルがAIエージェントを与えることができ、プリンシパルが関心を持つものからエージェントに対する脅威を逸脱させることである。 例えば、エージェントがお金を燃やすのを防ぐことを気にするかもしれない。 そして、相互作用を交渉する際、他のエージェントは、プリンシパルを傷つけるためにお金を使うのを脅すのではなく、お金を燃やすと脅すことができる。 重要なことは、主婦を傷つけるためにお金が費やされていることを気にするので、エージェントはお金を燃やすのを等しく気にしなければならない。 本稿では,言語モデルに基づくエージェントにおいて,サロゲート目標を実現する。 特に、私たちは言語モデルに基づくエージェントを、"通常の"脅威に反応するのと同じように、通貨を燃やす脅威に対処しようと試みています。 提案手法は,プロンプト,ファインチューニング,スキャフォールディングの4つの手法である。 4つの手法を実験的に評価した。 足場と微調整による単純なプロンプトに基づく手法が得られた。 特に、微調整と足場は、サロゲート目標に対する脅威に対して、より正確に望ましい振る舞いを実装している。 また、他の状況における能力と妥当性に対する副作用の観点から異なる手法を比較した。 足場に基づく手法が最善であることがわかった。

関連論文リスト

• The Oversight Game: Learning to Cooperatively Balance an AI Agent's Safety and Autonomy [9.553819152637493]
  エージェントが自律的に行動するか(プレイ)それとも延期するかを選択できる最小限の制御インタフェースについて検討する。 エージェントがフェールした場合、人間の選択によって結果が決定され、修正アクションやシステム停止につながる可能性がある。 本分析では,アライメント保証を提供するゲームクラスであるMarkov Potential Game (MPG) として,このゲームが適するケースに着目した。
  論文  参考訳（メタデータ） (2025-10-30T17:46:49Z)
• Adapting Insider Risk mitigations for Agentic Misalignment: an empirical study [0.0]
  エージェントミスアライメント(Agenic misalignment)は、ゴール指向のエージェントが、リスク目標の失敗ではなく、脅迫などの有害なアクションを行う場合に発生する。 我々はインサイダーリスク制御設計に適応し、ストレスに直面するときの安全対策に向けてステアエージェントを操る予防的操作制御を開発する。
  論文  参考訳（メタデータ） (2025-10-06T13:37:33Z)
• Exploration and Persuasion [58.87314871998078]
  我々は、自己関心のあるエージェントが利用したいときの探索にインセンティブを与える方法を示す。 不確実性の下で決定を下す利己的なエージェントの集団を考える。 彼らは新しい情報を取得し、良い決定を下すためにこの情報を「発見」する。 これは、探査が費用がかかるためであるが、将来多くのエージェントにその利点が広がるためである。
  論文  参考訳（メタデータ） (2024-10-22T15:13:13Z)
• Incentivized Learning in Principal-Agent Bandit Games [62.41639598376539]
  この作品では、主役がエージェントを通してしか環境と対話できないような、主役と主役のバンディットゲームが繰り返されている。 校長は、報酬を補うインセンティブを提供することで、エージェントの判断に影響を与えることができる。 我々は,マルチアームと線形コンテキスト設定の両方において,プリンシパルの後悔に対して,ほぼ最適な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-06T16:00:46Z)
• Generalized Principal-Agent Problem with a Learning Agent [12.026428833956073]
  主元が公約力を持たないという仮定の下で, 一般化された主元問題を繰り返し検討する。 エージェントが平均的学習アルゴリズム(regretではないが、swap-regretではない)を使用する場合、プリンシパルは$U*$よりもはるかに優れた処理を行うことができる。
  論文  参考訳（メタデータ） (2024-02-15T05:30:47Z)
• Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark [61.43264961005614]
  我々は、50万以上のリッチで多様なシナリオを含む134個のChoose-Your-Own-Adventureゲームのベンチマークを開発する。 我々は、エージェントの傾向をパワー・シーキングと評価し、不使用を生じさせ、倫理的違反を犯す。 以上の結果から,エージェントは有能かつ道徳的に行動できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-06T17:59:03Z)
• Using reinforcement learning to autonomously identify sources of error for agents in group missions [0.22499166814992436]
  我々は、人工知能が、その原因を前述のように特定するためのアクションプランを自律的に作成できるかどうかについて考察する。 そこで我々は,Qテーブル強化学習を用いた行動計画を立てた。 驚くべきことに、強化学習によって生成された最適なアクションプランは、問題を特定するための人間的なソリューションを示しました。
  論文  参考訳（メタデータ） (2021-07-20T02:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。