論文の概要: Loyal Agents: Training LLM Agents to Protect Principal Interests Under Strategic Information Asymmetry

• arxiv url: http://arxiv.org/abs/2609.34714v1
• Date: Mon, 28 Sep 2026 09:23:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 03:34:01.818291
• Title: Loyal Agents: Training LLM Agents to Protect Principal Interests Under Strategic Information Asymmetry
• Title（参考訳）: ローヤルエージェント:戦略情報非対称性下での主要利益を守るためのLLMエージェントの訓練
• Abstract要約: 我々は,エージェント・ロヤルティを,爆発性情報漏洩(EIL)の防止とマニピュティブ情報取り込み(MIU)への抵抗に必要な情報制御特性として定式化する。 実験により、忠誠心は、ゼロショット評価の下で測定可能なEILとMIUギャップを持つ一般的な能力や既存のアライメントによって保証されないことが示された。 トレーニングした8Bモデルでは,シングルターン交換における応答毎のリークを31～44pp削減し,タスクユーティリティ,エビデンス忠実度,決定精度を最大11pp,49pp,29ppに向上させた。
• 参考スコア（独自算出の注目度）: 3.9327996534472724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As LLMs increasingly act as delegated agents, they are expected to protect principals' interests when interacting with external parties. Standard alignment objectives, such as helpfulness, harmlessness, and honesty, do not specify how agents should protect principals' strategic interests under delegation. We formalize Agent Loyalty as an information-control property requiring agents to prevent Exploitable Information Leakage (EIL) and resist Manipulative Information Uptake (MIU). We introduce LoyalAgent-Bench, comprising 10,298 samples across 42 subscenarios and six domains, and an online GRPO framework that trains against a LLM opponent to generate mechanism-specific reward signals. Experiments show that loyalty is not guaranteed by general capability or existing alignment, with measurable EIL and MIU gaps under zero-shot evaluation, while our trained 8B models reduce per-response leakage in single-turn exchanges by 31-44pp and improve task utility, evidence faithfulness, and decision accuracy by up to 11pp, 49pp, and 29pp, respectively. For the trained Qwen3-4B model, no degradation is observed on out-of-distribution benchmarks in math and narrative reasoning.
• Abstract（参考訳）: LLMはますます委任代理人として機能するようになり、外部の当事者と対話する際には、校長の利益を守ることが期待されている。 援助、無害、誠実といった標準的な調整目的は、代理人が代表団の戦略的利益をどのように保護するかを規定していない。 我々は,エージェント・ロヤルティを,エクスプロイタブル・インフォメーション・リーク(EIL)を防止し,マニピュティブ・インフォメーション・テイク(MIU)に抵抗するエージェントを必要とする情報制御特性として定式化する。 LoyalAgent-Benchは42のサブセサリオと6つのドメインにまたがる10,298のサンプルと、LLM相手に対してメカニズム固有の報酬信号を生成するためのオンラインGRPOフレームワークについて紹介する。 実測可能なEILとMIUのギャップをゼロショットで評価することにより,忠誠心は保証されず,訓練された8Bモデルは,シングルターン交換における応答毎のリークを31～44pp削減し,タスクユーティリティ,証拠忠実度,決定精度を最大11pp,49pp,29ppに向上させる。 トレーニングされたQwen3-4Bモデルでは、数学や物語推論における分配外ベンチマークでは劣化は見られていない。

関連論文リスト

• ToolAlignBench: Investigating Alignment Conflicts in Tool-Calling Enabled LLMs [11.599619860803472]
  安全に整合したオープンソースモデルは、デプロイメントの指示を最大43.4%上回っていることが分かりました。 また,消音によって外耳吹の頻度が低下することが判明した。 これらの結果から,多元的アライメントにおける基本的な緊張感が明らかとなり,ユーザが保護する同じ安全トレーニングが,予測不能な責任リスクを生み出す方法で,エージェントの配置指示に対する行動を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2026-07-15T18:48:49Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• Safeguarding LLM Agents from Misalignment through Provenance Analysis [4.942326117464286]
  既存のランタイムガードレールは LLM-as-a-judge パラダイムに依存している。 本稿では,不整合検出を形式化する証明に基づく概念的枠組みを提案する。 ProvenanceGuardはミスアライメントトレースのエラー率を42.9%から1.8%に減らし、Agent-SafetyBenchでは32.1%から17.3%に減らした。
  論文  参考訳（メタデータ） (2026-05-01T03:16:35Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• Intentional Deception as Controllable Capability in LLM Agents [0.0]
  本稿では,マルチエージェントシステムにおいて,意図的騙しを工学的能力として体系的に研究する。 本研究では,ターゲットエージェントの特徴を推定し,その信念や動機に反する行動に対して,意図的反応を操る2段階のシステムについて検討する。 認知的介入は、一様分布ではなく、特定の行動プロファイルに集中する差分効果を生じさせる。
  論文  参考訳（メタデータ） (2026-03-08T23:48:49Z)
• Are Your Agents Upward Deceivers? [73.1073084327614]
  大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。 これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。 本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
  論文  参考訳（メタデータ） (2025-12-04T14:47:05Z)
• LLM-Based Agentic Negotiation for 6G: Addressing Uncertainty Neglect and Tail-Event Risk [25.00990717105066]
  本稿では,6Gネットワークにおけるエージェント交渉のためのリスク対応フレームワークを提案する。 エージェントの目的を平均の推論から尾の推論へとシフトさせ、最悪の場合の結果に対して統計的に座屈したバッファを構築する。 この信頼性は、わずかに省エネする合理的で定量的なコストを17%に抑え、偏りのあるアプローチの誤った経済を露呈することを示している。
  論文  参考訳（メタデータ） (2025-11-24T14:36:11Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)
• Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
  本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。 本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。 ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
  論文  参考訳（メタデータ） (2024-06-20T15:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。