Fugu-MT 論文翻訳(概要): Differential Assessment of Black-Box AI Agents

論文の概要: Differential Assessment of Black-Box AI Agents

arxiv url: http://arxiv.org/abs/2203.13236v1
Date: Thu, 24 Mar 2022 17:48:58 GMT
ステータス: 処理完了
システム内更新日: 2022-03-25 13:50:59.501527
Title: Differential Assessment of Black-Box AI Agents
Title（参考訳）: ブラックボックス型AIエージェントの差分評価
Authors: Rashmeet Kaur Nayyar, Pulkit Verma, Siddharth Srivastava
Abstract要約: 従来知られていたモデルから逸脱したブラックボックスAIエージェントを差分評価する手法を提案する。我々は,漂流エージェントの現在の挙動と初期モデルの知識の疎度な観察を利用して,アクティブなクエリポリシーを生成する。経験的評価は、エージェントモデルをスクラッチから再学習するよりも、我々のアプローチの方がはるかに効率的であることを示している。
参考スコア（独自算出の注目度）: 29.98710357871698
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Much of the research on learning symbolic models of AI agents focuses on agents with stationary models. This assumption fails to hold in settings where the agent's capabilities may change as a result of learning, adaptation, or other post-deployment modifications. Efficient assessment of agents in such settings is critical for learning the true capabilities of an AI system and for ensuring its safe usage. In this work, we propose a novel approach to differentially assess black-box AI agents that have drifted from their previously known models. As a starting point, we consider the fully observable and deterministic setting. We leverage sparse observations of the drifted agent's current behavior and knowledge of its initial model to generate an active querying policy that selectively queries the agent and computes an updated model of its functionality. Empirical evaluation shows that our approach is much more efficient than re-learning the agent model from scratch. We also show that the cost of differential assessment using our method is proportional to the amount of drift in the agent's functionality.
Abstract（参考訳）: AIエージェントのシンボルモデル学習に関する研究の多くは、定常モデルを持つエージェントに焦点を当てている。この仮定は、学習、適応、その他のデプロイ後の修正の結果、エージェントの能力が変化するような環境では成り立たない。このような設定におけるエージェントの効率的な評価は、AIシステムの真の能力を学び、その安全な使用を保証するために重要である。本研究では,従来知られていたモデルから逸脱したブラックボックスAIエージェントを微分評価する手法を提案する。出発点として、完全に観測可能で決定論的な設定を考える。我々は,漂流したエージェントの現在の挙動と初期モデルに関する知識のばらばらな観察を利用して,エージェントを選択的にクエリし,その機能の更新モデルを計算するアクティブクエリポリシを生成する。経験的評価は、エージェントモデルをスクラッチから再学習するよりも、我々のアプローチの方がずっと効率的であることを示している。また,本手法を用いた差分評価のコストは,エージェントの機能のドリフト量に比例することを示した。

関連論文リスト

From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文参考訳（メタデータ） (2024-11-06T10:35:11Z)
Improving Agent Behaviors with RL Fine-tuning for Autonomous Driving [17.27549891731047]
我々は,強化学習を用いた行動モデルのクローズドループ微調整によりエージェント動作の信頼性を向上させる。本手法は,衝突速度などの目標値の改善とともに,全体的な性能の向上を示す。シミュレーションエージェントが自律走行車プランナーの質を計測する能力を直接評価するための新しいポリシー評価ベンチマークを提案する。
論文参考訳（メタデータ） (2024-09-26T23:40:33Z)
Dynamic Knowledge Injection for AIXI Agents [17.4429135205363]
我々は,動的に変化するモデルの集合に対して,ベイズ混合を正確に維持するDynamicHedgeAIXIという新しいエージェントを導入する。接触ネットワークにおける疫病対策の実験結果は,エージェントの実用性を検証する。
論文参考訳（メタデータ） (2023-12-18T13:34:17Z)
QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文参考訳（メタデータ） (2023-11-06T00:21:44Z)
Autonomous Capability Assessment of Sequential Decision-Making Systems in Stochastic Settings (Extended Version) [27.825419721676766]
ユーザは自分のAIシステムに何ができるかを理解し、安全に使用するためには不可能である。本稿では,ブラックボックス型AIシステムにおいて,計画と動作が可能な能力をモデル化するための新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-06-07T22:05:48Z)
MERMAIDE: Learning to Align Learners using Model-Based Meta-Learning [62.065503126104126]
本研究では,先見のつかない学習エージェントの報酬を効率よく効果的に介入し,望ましい結果を導き出す方法について検討する。これはオークションや課税のような現実世界の多くの設定に関係しており、プリンシパルは学習行動や実際の人々の報酬を知らないかもしれない。モデルに基づくメタ学習フレームワークであるMERMAIDEを導入し,配布外エージェントに迅速に適応できるプリンシパルを訓練する。
論文参考訳（メタデータ） (2023-04-10T15:44:50Z)
Explaining Reinforcement Learning Policies through Counterfactual Trajectories [147.7246109100945]
人間の開発者は、RLエージェントがテスト時にうまく機能することを検証しなければならない。本手法では, エージェントの挙動をより広い軌道分布で示すことにより, エージェントの挙動を分布変化下で表現する。本研究では,2つのエージェント検証タスクのうちの1つに対して,ベースライン法よりも優れたスコアを得られることを示す。
論文参考訳（メタデータ） (2022-01-29T00:52:37Z)
Sample-Efficient Reinforcement Learning via Conservative Model-Based Actor-Critic [67.00475077281212]
モデルベース強化学習アルゴリズムは、モデルフリーのアルゴリズムよりもサンプル効率が高い。本稿では,精度の高い学習モデルに強く依存することなく,高いサンプル効率を実現する新しい手法を提案する。 CMBACは,いくつかの課題に対して,サンプル効率の点で最先端のアプローチを著しく上回ることを示す。
論文参考訳（メタデータ） (2021-12-16T15:33:11Z)
Active Feature Acquisition with Generative Surrogate Models [11.655069211977464]
本研究では,アクティブ機能獲得(AFA)を行うモデルについて検討し,未観測機能に対する環境問合せを行う。我々の研究は、AFA問題を生成的モデリングタスクとして根底にあるマルコフ決定プロセス(MDP)を再構築する。本稿では,入力特徴間の依存関係を捕捉し,取得から得られる潜在的な情報を評価する生成代理モデル(GSM)の学習を提案する。
論文参考訳（メタデータ） (2020-10-06T02:10:06Z)
On the model-based stochastic value gradient for continuous reinforcement learning [50.085645237597056]
モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
論文参考訳（メタデータ） (2020-08-28T17:58:29Z)
Agent Modelling under Partial Observability for Deep Reinforcement Learning [12.903487594031276]
エージェントモデリングの既存の方法は、実行中にローカルな観察とモデル化されたエージェントの選択されたアクションの知識を仮定する。制御されたエージェントの局所的な観察に基づいて,モデル化されたエージェントの表現を抽出することを学ぶ。これらの表現は、深い強化学習を通じて訓練された制御エージェントの決定ポリシーを強化するために使用される。
論文参考訳（メタデータ） (2020-06-16T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。