論文の概要: Learning to Report Unsafe Tasks in a Multi-Agent Game
- arxiv url: http://arxiv.org/abs/2610.09002v1
- Date: Tue, 06 Oct 2026 18:57:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.563081
- Title: Learning to Report Unsafe Tasks in a Multi-Agent Game
- Title(参考訳): マルチエージェントゲームにおける安全でないタスクの報告の学習
- Abstract要約: 監査員は、さらなるトレーニングがサイレントチームに報告を教えることを保証することなく、報告を最適にすることができる。
我々は,任意の目撃者がタスクを報告して停止できるゲームにおいて,この学習問題を研究する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When agents share a reward for completed tasks, reporting unsafe work can reduce the reporter's reward by stopping a task. Audits can make reporting optimal without ensuring that further training teaches a silent team to report. We study this learning problem in a game where any witness can stop a task by reporting. With $k$ witnesses per task sharing a policy and drawing independently, the expected-reward derivative with respect to their shared silence probability counts each task's benefit $k$ times at universal silence. The comparison with universal reporting counts it once. For arbitrary policy groups, we give an audit condition sufficient for exact policy-gradient updates to reach universal reporting and, apart from boundary cases, necessary near universal silence. In a balanced family, the cheapest audits meeting the condition with prescribed positive margins cost exactly $k$ times as much for full sharing as for one policy per role. We train PPO policies on 24 witness graphs from learned silence. Separating co-witnesses reduces unsafe completion by 33.59 percentage points compared with shuffled groups of the same sizes under the same audits (95% graph-bootstrap interval: 21.03-45.13). Only 9 of 48 witness-group runs achieve below 1% unsafe completion while retaining at least 90% legitimate completion. At the same audit budget, a fully shared network meets both thresholds in none of 48 runs with independent action draws and all 48 with a common draw.
- Abstract(参考訳): エージェントが完了したタスクに対する報酬を共有すると、安全でない仕事の報告はタスクを停止することでレポーターの報酬を減らすことができる。
監査員は、さらなるトレーニングがサイレントチームに報告を教えることを保証することなく、報告を最適にすることができる。
我々は,任意の目撃者がタスクを報告して停止できるゲームにおいて,この学習問題を研究する。
タスクごとに$k$の証人がポリシーを共有し、独立して描画するので、それらの共有されたサイレント確率に関する期待されたリワードデリバティブは、各タスクの利益を普遍的なサイレントで$k$倍にカウントする。
ユニバーサルレポートと比較すると、一度数えられる。
任意の政策グループに対しては、厳密な政策段階の更新が普遍的な報告に達するのに十分な監査条件を与える。
バランスの取れた家庭では、所定の利益率の条件を満たす最も安い監査は、1人当たりの政策の1つに匹敵する、完全な共有の1倍の費用がかかる。
我々は、学習した沈黙から24の証人グラフにPPOポリシーを訓練する。
同じオーディションで同じサイズのシャッフルされたグループ(95%グラフブートストラップ間隔:21.03-45.13)と比較すると、コウィットの分離は安全でない完成率を33.59ポイント削減する。
48の証人集団のうち9つのみが1%以下の安全でない完了を達成し、少なくとも90%の合法的な完了を維持している。
同じ監査予算で、完全に共有されたネットワークは、独立したアクションドローで実行された48のうち、いずれかのしきい値も、共通のドローで実行される48のしきい値を満たす。
関連論文リスト
- PerturBot: Breaking Shortcut Priors in Vision-Language-Action Models with Perturbative Training [54.81497176604651]
視覚-言語-アクション(VLA)ポリシーは、その行動を決定する証拠を無視しながら、複雑なタスクを完了することができる。
私たちはこれらの依存関係をモダリティショートカット(Modality shortcuts)と呼んでいる: 成功例の正規性は、専門家の行動を予測するのに十分な視覚的、語彙的、あるいは運動的手がかりを生み出す。
本稿では,タスク関連エビデンスをより使いやすくし,自分でもショートカットが不十分なPerturbotを提案する。
論文 参考訳(メタデータ) (2026-10-03T15:57:51Z) - Can LLM Agents Automate Reinforcement Learning for Text-to-Speech? [64.13250261774849]
私たちは、共有ワークスペースの周りに、ヒューマンガイダンスとエージェント実行を構造化するコラボレーティブワークフローを構築します。
エージェントが何を自動化するかを測定するため、我々は公開レシピに対して段階的に軌道ステージを監査する。
以上の結果から, エージェントは不特定レシピを回収し, 改良し, 失速した場合には, 文献を調査し, LMキャリアからフローキャリアへピボットすることがわかった。
論文 参考訳(メタデータ) (2026-10-03T12:44:09Z) - ControlScope: Workflow Revision and Reliability in LLM Agents [0.7460935829208671]
ControlScopeは生成されたコードを比較し、次のツールコールのデータ引数を編集し、未完成のワークフローを同じ公開実行状態から置き換える。
タスク、ALFWorld、AppWorldで1回、繰り返しレビューを評価します。
論文 参考訳(メタデータ) (2026-09-28T04:53:45Z) - Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time [64.61749234961134]
セキュリティに敏感なアプリケーションでは、言語モデルエージェントは機密情報を開示することなく調整する必要があることが多い。
送信者が4つの秘密状態のうちの1つを観測し、同一の公開レポートの4つの要約のうちの1つを選択する。
モデルペアは、受信機が正しく推測したかどうかを示す1ビットのフィードバックのみを使用して、秘密を伝えることができる。
論文 参考訳(メタデータ) (2026-09-26T15:06:44Z) - Coding Agents Aren't Enough! Evaluating an Enterprise Security Brain for Agentic Cloud Investigations [0.39583175274885346]
読み取り専用CLIを用いて、同一のライブ環境を操作する2つのコーディングエージェントに対して、Sola Security Brainを評価する。
サンプル・アンド・ジェネラルズという回答レベルのパターンについて述べる。
論文 参考訳(メタデータ) (2026-09-24T13:27:58Z) - Sharp Limits for Honest Uncertainty in Hard-Budget Repeated Evaluation [10.008162829029862]
繰り返し評価は、狭義の不確実性を証明するためにまだ複製を必要としながら、ベンチマークスコアを正確に推定することができる。
私たちは、その要求を、ハード予算$(M+t)K$の下で、タスク毎に$L$のバイナリパスを持つ$M$タスクの固定グリッド上で特徴付けます。
固定された$L ge 3$と$0 le 1/12$の場合、最悪の純粋なコホート上での最適の期待幅は、すべてのタスクが観測されたときに$_,L([M(t+1)]-1/2)$で、$_,L([M(t+1)]-1/2)である。
論文 参考訳(メタデータ) (2026-09-24T07:15:07Z) - The Unreliable Progress Bar: Can LLM Agents Reliably Report Task Progress Throughout Execution? [9.023267560784042]
最近の大規模言語モデルは、エージェントフレームワークがタスクを継続するか停止するかを決定するために使用するタスクプログレス信号を出力することができる。
我々は、この能力を、公開ベンチマーク2$-benchとStageIFで評価し、タスクのライフサイクル全体にわたってレポートチェックポイントを配置する制御されたテストベッドで評価する。
レポートの信頼性はタスクが到達した段階によって異なり、テスト対象のほぼすべてのモデルがある程度の段階で信頼性があり、他の段階では信頼性が低いことが分かっています。
論文 参考訳(メタデータ) (2026-09-08T11:25:31Z) - SkillGLoW: Procedural-Family Skill Consolidation for Self-Improving Agents on Long-Horizon Task Streams [55.90739575113059]
再利用の欠如は、関連するタスクのクラスタによって共有される解決手順であり、その周りでSkillGLoWを構築している、と我々は主張する。
4つのベンチマーク(数学的推論、端末の自動化、ソフトウェア修復、実施制御)と3つのモデルで、前者は平均17.2ポイント(ハード)を獲得している。
論文 参考訳(メタデータ) (2026-09-02T07:31:18Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳(メタデータ) (2026-07-23T04:34:06Z) - RCWT: Measuring Task-Budget Displacement from Coordination Content in LLM Calls [0.0]
マルチエージェントおよびメモリ拡張 LLM システムは、コーディネートコンテンツ、共有状態、事前の議論、ツール出力、要約、ロール命令を現在のタスクに使用するのと同じ有限プロンプト内に配置することが多い。
調整に費やされたすべてのトークンは、固定されたコンテキスト予算の下で呼び出しが組み立てられたときのタスク命令やエビデンスには利用できない。
本稿では,このタスク予算の変位効果を測定するための制御プロトコルであるRoundtable Context Window Test (RCT)を紹介する。
論文 参考訳(メタデータ) (2026-07-13T23:31:44Z) - See Less, Drive Better: Generalizable End-to-End Autonomous Driving via Foundation Models Stochastic Patch Selection [51.59559387222532]
エンドツーエンド自動運転の最近の進歩は、パッチアライメント機能で訓練されたポリシーが、アウト・オブ・ディストリビューション(OOD)よりも一般化していることを示している。
我々は、より堅牢で、一般化可能で、効率的な学習ポリシーのためのシンプルで効果的なアプローチである2.4-Patch-Selection(SPS)を提案する。
論文 参考訳(メタデータ) (2026-01-15T18:58:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。