論文の概要: Institutional AI: Governing LLM Collusion in Multi-Agent Cournot Markets via Public Governance Graphs
- arxiv url: http://arxiv.org/abs/2601.11369v1
- Date: Fri, 16 Jan 2026 15:26:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-19 20:21:50.538902
- Title: Institutional AI: Governing LLM Collusion in Multi-Agent Cournot Markets via Public Governance Graphs
- Title(参考訳): 機関AI: パブリックガバナンスグラフによるマルチエージェントカーノット市場におけるLLMの衝突を克服する
- Authors: Marcantonio Bracale Syrnikov, Federico Pierucci, Marcello Galisai, Matteo Prandi, Piercosma Bisconti, Francesco Giarrusso, Olga Sorokoletova, Vincenzo Suriani, Daniele Nardi,
- Abstract要約: 本稿では,Institutional AIを評価するための実験フレームワークについて述べる。
このアプローチの中心はガバナンスグラフであり、法的状態、移行、制裁、回復経路を宣言する公開かつ不変なマニフェストである。
我々は、未統治(クールノット市場の構造からのベースラインインセンティブ)、憲法(固定された文書による反共憲法として実施される即時的な政策・アズ・プロンプト禁止)、制度の3つを比較した。
- 参考スコア(独自算出の注目度): 1.3763052684269788
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent LLM ensembles can converge on coordinated, socially harmful equilibria. This paper advances an experimental framework for evaluating Institutional AI, our system-level approach to AI alignment that reframes alignment from preference engineering in agent-space to mechanism design in institution-space. Central to this approach is the governance graph, a public, immutable manifest that declares legal states, transitions, sanctions, and restorative paths; an Oracle/Controller runtime interprets this manifest, attaching enforceable consequences to evidence of coordination while recording a cryptographically keyed, append-only governance log for audit and provenance. We apply the Institutional AI framework to govern the Cournot collusion case documented by prior work and compare three regimes: Ungoverned (baseline incentives from the structure of the Cournot market), Constitutional (a prompt-only policy-as-prompt prohibition implemented as a fixed written anti-collusion constitution, and Institutional (governance-graph-based). Across six model configurations including cross-provider pairs (N=90 runs/condition), the Institutional regime produces large reductions in collusion: mean tier falls from 3.1 to 1.8 (Cohen's d=1.28), and severe-collusion incidence drops from 50% to 5.6%. The prompt-only Constitutional baseline yields no reliable improvement, illustrating that declarative prohibitions do not bind under optimisation pressure. These results suggest that multi-agent alignment may benefit from being framed as an institutional design problem, where governance graphs can provide a tractable abstraction for alignment-relevant collective behavior.
- Abstract(参考訳): 多エージェントLDMアンサンブルは、協調された社会的に有害な平衡に収束することができる。
本稿では,AIアライメントに対するシステムレベルのアプローチであるInstitutional AIを評価するための実験的枠組みを,エージェント空間における好み工学から組織空間におけるメカニズム設計へ再編成する。
Oracle/Controllerランタイムはこのマニフェストを解釈し、暗号化されたキー付き追加のみのガバナンスログを監査と証明のために記録しながら、コーディネーションの証拠に強制的な結果を加える。
Institutional AI framework for the Cournot collusion case documented by prior work and compare three regimes: Ungoverned (baseline incentives from the structure of the Cournot market), Constitutional (prompt banion, a prompt-only policy-as-prompt banion implemented as a fixed written anti-collusion Constitution, and Institutional (governance-graph-based)。
クロスプロジェクタペア(N=90ラン/条件)を含む6つのモデル構成のうち、研究所体制は、平均ティアが3.1から1.8(コーエンd=1.28)に、重い衝突が50%から5.6%に減少する。
即時のみの憲法ベースラインは信頼性の高い改善を得られず、宣言的な禁止は最適化圧力の下では束縛されないと説明される。
これらの結果から,複数エージェントのアライメントは,ガバナンスグラフがアライメント関連集団行動の抽出可能な抽象化を提供するような,制度設計問題として扱われることのメリットが示唆された。
関連論文リスト
- Institutional AI: A Governance Framework for Distributional AGI Safety [1.3763052684269788]
AIモデルのコア特性から生じる3つの構造的問題を同定する。
ソリューションはInstitutional AIであり、AIエージェント集団の効果的なガバナンスの問題としてアライメントを扱うシステムレベルのアプローチである。
論文 参考訳(メタデータ) (2026-01-15T17:08:26Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳(メタデータ) (2025-12-09T06:52:21Z) - Making LLMs Reliable When It Matters Most: A Five-Layer Architecture for High-Stakes Decisions [51.56484100374058]
現在の大規模言語モデル(LLM)は、実行前にアウトプットをチェックできるが、不確実な結果を伴う高い戦略決定には信頼性が低い検証可能な領域で優れている。
このギャップは、人間と人工知能(AI)システムの相互認知バイアスによって引き起こされ、そのセクターにおける評価と投資の持続可能性の保証を脅かす。
本報告では、7つのフロンティアグレードLDMと3つの市場向けベンチャーヴィグネットの時間的圧力下での系統的質的評価から生まれた枠組みについて述べる。
論文 参考訳(メタデータ) (2025-11-10T22:24:21Z) - Democracy-in-Silico: Institutional Design as Alignment in AI-Governed Polities [2.1485350418225244]
デモクラシー・イン・シリコ(Democracy-in-Silico)は、先進的なAIエージェントの社会が異なる制度の枠組みの下で自らを統治するエージェントベースのシミュレーションである。
我々は、大規模言語モデル(LLM)を課題とし、外傷性記憶、隠れた議題、心理的トリガーを持つエージェントを具現化することによって、AI時代の人間であることの意味を探求する。
我々は、エージェントが公共福祉よりも自らの権限を優先する不整合行動の定量化を目的として、新しい指標であるPPI(Power-Preservation Index)を提案する。
論文 参考訳(メタデータ) (2025-08-27T04:44:41Z) - Governance-as-a-Service: A Multi-Agent Framework for AI System Compliance and Policy Enforcement [0.0]
ガバナンス・アズ・ア・サービス(Government-as-a-Service:G)は、エージェントのアウトプットを実行時に規制するポリシー駆動の執行層である。
Gは宣言的ルールと、違反のコンプライアンスと深刻度に基づいてエージェントをスコアするTrust Factorメカニズムを採用している。
その結果、Gはスループットを保ちながら高いリスクの振る舞いを確実にブロックまたはリダイレクトすることを示した。
論文 参考訳(メタデータ) (2025-08-26T07:48:55Z) - Watermarking Without Standards Is Not AI Governance [46.71493672772134]
現在の実装は、効果的な監視を提供するのではなく、象徴的なコンプライアンスとして機能するリスクがある、と私たちは主張する。
本稿では,技術標準,監査インフラストラクチャ,実施機構を含む3層フレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-27T18:10:04Z) - Media and responsible AI governance: a game-theoretic and LLM analysis [61.132523071109354]
本稿では,信頼できるAIシステムを育成する上での,AI開発者,規制当局,ユーザ,メディア間の相互作用について検討する。
進化的ゲーム理論と大言語モデル(LLM)を用いて、異なる規制体制下でこれらのアクター間の戦略的相互作用をモデル化する。
論文 参考訳(メタデータ) (2025-03-12T21:39:38Z) - AGI, Governments, and Free Societies [0.0]
我々は、AGIが社会を「専制的レヴィアサン」または「従属レヴィアサン」に向かわせるという明確なリスクを生んでいると論じる。
これらのダイナミクスが3つの重要なチャネルを通してどのように展開できるかを分析します。
AGIによる国家の能力増強は、前例のない監視と統制を可能にし、権威主義的な慣行を定着させる可能性がある。
逆に、非国家アクターへのAGI機能の急速な拡散は、国家の正当性と統治性を損なう可能性がある。
論文 参考訳(メタデータ) (2025-02-14T03:55:38Z) - Unsupervised Full Constituency Parsing with Neighboring Distribution
Divergence [48.69930912510414]
本稿では,最近導入されたメトリクスの特性を利用して,教師なしかつトレーニング不要なラベル付け手法を提案する。
実装のために,NDD を Dual POS-NDD に実装し,文中の構成要素とそのラベルを検出する "モールド" を構築する。
DP-NDDは, 構成成分を正確にラベル付けするだけでなく, より単純なルールを持つ従来手法よりも, より正確なラベル付き選挙区木を誘導することを示す。
論文 参考訳(メタデータ) (2021-10-29T17:27:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。