論文の概要: Learning to Give Checkable Answers with Prover-Verifier Games
- arxiv url: http://arxiv.org/abs/2108.12099v1
- Date: Fri, 27 Aug 2021 02:56:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-30 14:21:29.012822
- Title: Learning to Give Checkable Answers with Prover-Verifier Games
- Title（参考訳）: Prover-Verifier Games による検証可能な回答の学習
- Authors: Cem Anil, Guodong Zhang, Yuhuai Wu, Roger Grosse
- Abstract要約: Prover-Verifier Games (PVGs) は,学習エージェントが決定問題を検証可能な方法で解くことを奨励するゲーム理論フレームワークである。
我々は、同時かつ連続的なゲームを含むフレームワークの変種を分析し、その空間を、確実に所望の平衡を持つゲームのサブセットに絞り込む。
2つのアルゴリズムタスクに対するPVGのインスタンス化を開発し、実際に、検証者は信頼できない証明者から有用で信頼性の高い情報を受信できる堅牢な決定ルールを学習することを示す。
- 参考スコア（独自算出の注目度）: 23.93694563816463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Our ability to know when to trust the decisions made by machine learning
systems has not kept up with the staggering improvements in their performance,
limiting their applicability in high-stakes domains. We introduce
Prover-Verifier Games (PVGs), a game-theoretic framework to encourage learning
agents to solve decision problems in a verifiable manner. The PVG consists of
two learners with competing objectives: a trusted verifier network tries to
choose the correct answer, and a more powerful but untrusted prover network
attempts to persuade the verifier of a particular answer, regardless of its
correctness. The goal is for a reliable justification protocol to emerge from
this game. We analyze variants of the framework, including simultaneous and
sequential games, and narrow the space down to a subset of games which provably
have the desired equilibria. We develop instantiations of the PVG for two
algorithmic tasks, and show that in practice, the verifier learns a robust
decision rule that is able to receive useful and reliable information from an
untrusted prover. Importantly, the protocol still works even when the verifier
is frozen and the prover's messages are directly optimized to convince the
verifier.
- Abstract（参考訳）: 機械学習システムによってなされた決定をいつ信頼するかを知る能力は、そのパフォーマンスの驚異的な改善に遅れず、ハイシテイクなドメインでの適用性が制限されている。
Prover-Verifier Games (PVGs) は,学習エージェントが決定問題を検証可能な方法で解くことを奨励するゲーム理論フレームワークである。
pvgは2つの目標を持った学習者で構成される: 信頼できる検証者ネットワークは正しい答えを選択しようとするが、より強力だが信頼できない証明者ネットワークはその正確性に関係なく、特定の回答の検証者を説得しようとする。
目標は、このゲームから信頼できる正当化プロトコルが生まれることです。
我々は、同時かつ連続的なゲームを含むフレームワークの変種を分析し、その空間を、確実に所望の平衡を持つゲームのサブセットに絞り込む。
2つのアルゴリズムタスクのためのpvgのインスタンスを作成し、実際に検証者が信頼できない証明者から有用で信頼性の高い情報を受信できる堅牢な決定規則を学習することを示す。
重要なことは、検証者が凍結され、証明者のメッセージが直接最適化されて検証者を納得させる場合でも、プロトコルは依然として機能する。
関連論文リスト
- Rationale-Aware Answer Verification by Pairwise Self-Evaluation [11.763229353978321]
信頼性のある検証器の訓練には,最終回答の正しさに加えて,有理数の有効性の確保が必要であることを示す。
本結果から, 信頼性検証には, 正解の正確性に加えて, 有理数の有効性の確保が必要であることが示唆された。
論文 参考訳（メタデータ） (2024-10-07T08:53:00Z) - Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。
LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。
本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
論文 参考訳（メタデータ） (2024-10-05T05:21:48Z) - Automated Security Response through Online Learning with Adaptive Conjectures [13.33996350474556]
我々はITインフラに対する自動セキュリティ対応について研究する。
我々は攻撃者とディフェンダーとの相互作用を部分的に観察された非静止ゲームとして定式化する。
論文 参考訳（メタデータ） (2024-02-19T20:06:15Z) - Formalizing the Problem of Side Effect Regularization [81.97441214404247]
本稿では,補助ゲームフレームワークを用いたサイドエフェクト正規化のための公式な基準を提案する。
これらのゲームでは、エージェントは部分的に観測可能なマルコフ決定プロセスを解決する。
このPOMDPは、エージェントが将来的なタスクをこなす能力と、プロキシ報酬を交換することで解決されることを示す。
論文 参考訳（メタデータ） (2022-06-23T16:36:13Z) - VeriFi: Towards Verifiable Federated Unlearning [59.169431326438676]
フェデレートラーニング(FL)は、参加者がプライベートデータを共有せずに強力なモデルを共同でトレーニングする、協調学習パラダイムである。
参加者を去るには、グローバルモデルからプライベートデータを削除するよう要求する権利がある。
フェデレートされた未学習と検証を統合した統合フレームワークであるVeriFiを提案する。
論文 参考訳（メタデータ） (2022-05-25T12:20:02Z) - On the Importance of Trust in Next-Generation Networked CPS Systems: An
AI Perspective [2.1055643409860734]
本稿では,ネットワークエージェントの状態を評価し,意思決定プロセスを改善する手段として信頼を提案する。
信頼関係は、プロトコル内のエンティティの相互作用によって生成された証拠に基づいている。
信頼の証拠を活用することで,フェデレートラーニングのパフォーマンスと安全性が向上することを示す。
論文 参考訳（メタデータ） (2021-04-16T02:12:13Z) - Robust Vision-Based Cheat Detection in Competitive Gaming [12.124621973070164]
本稿では,フレームバッファの最終状態をキャプチャし,不正オーバーレイを検出するビジョンベースアプローチを提案する。
以上の結果から,機械学習によるロバストで効果的な解凍は実現可能であることが示された。
論文 参考訳（メタデータ） (2021-03-18T06:06:52Z) - A Study on the Manifestation of Trust in Speech [12.057694908317991]
音声に基づいて仮想アシスタント(VA)でユーザーが持っている信頼レベルを自動的に検出する可能性を検討します。
VAのスキルに対する信頼度が異なるよう誘導された被験者から発話データを収集するための新しいプロトコルを開発した。
我々は、このプロトコルが効果的にエージェントのスキルを信頼または不信の望ましい精神状態に被験者に影響を与えることに成功したという明確な証拠を示しています。
論文 参考訳（メタデータ） (2021-02-09T13:08:54Z) - An Empirical Study on the Generalization Power of Neural Representations
Learned via Visual Guessing Games [79.23847247132345]
本研究は,視覚質問応答(VQA)のような新しいNLP下流タスクにおいて,後から実行を依頼されたとき,人工エージェントが推測ゲームでどの程度の利益を得ることができるかを検討する。
提案手法は,1) エージェントがうまく推理ゲームを模倣することを学習する教師あり学習シナリオ,2) エージェントが単独でプレイする新しい方法,すなわち,反復経験学習(SPIEL)によるセルフプレイ(Self-play)を提案する。
論文 参考訳（メタデータ） (2021-01-31T10:30:48Z) - Learning to Communicate and Correct Pose Errors [75.03747122616605]
本稿では、V2VNetで提案された設定について検討し、近くにある自動運転車が共同で物体検出と動き予測を協調的に行う方法を提案する。
本稿では,コミュニケーションを学習し,潜在的な誤りを推定し,それらの誤りについてコンセンサスを得るための新しいニューラルネットワーク推論フレームワークを提案する。
論文 参考訳（メタデータ） (2020-11-10T18:19:40Z) - End-to-End Learning and Intervention in Games [60.41921763076017]
ゲームにおける学習と介入のための統一的なフレームワークを提供する。
明示的および暗黙的な区別に基づく2つのアプローチを提案する。
分析結果は、実世界のいくつかの問題を用いて検証される。
論文 参考訳（メタデータ） (2020-10-26T18:39:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。