論文の概要: Ensuring trustworthy and ethical behaviour in intelligent logical agents
- arxiv url: http://arxiv.org/abs/2402.07547v1
- Date: Mon, 12 Feb 2024 10:19:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-02-13 14:42:32.030445
- Title: Ensuring trustworthy and ethical behaviour in intelligent logical agents
- Title(参考訳): 知的論理エージェントにおける信頼性と倫理的行動の確保
- Authors: Stefania Costantini
- Abstract要約: 本稿では動的(実行時)な論理に基づく自己チェック手法を提案する。
本稿では,動的(実行時)な論理に基づく自己チェック手法を提案する。
- 参考スコア(独自算出の注目度): 1.9580473532948401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous Intelligent Agents are employed in many applications upon which
the life and welfare of living beings and vital social functions may depend.
Therefore, agents should be trustworthy. A priori certification techniques
(i.e., techniques applied prior to system's deployment) can be useful, but are
not sufficient for agents that evolve, and thus modify their epistemic and
belief state, and for open Multi-Agent Systems, where heterogeneous agents can
join or leave the system at any stage of its operation. In this paper, we
propose/refine/extend dynamic (runtime) logic-based self-checking techniques,
devised in order to be able to ensure agents' trustworthy and ethical
behaviour.
- Abstract(参考訳): 自律的な知的エージェントは、生命の生命と福祉と重要な社会的機能に依存する多くの応用で採用されている。
したがって、エージェントは信頼に値する。
事前認証技術(すなわち、システムの配備前に適用される技術)は有用であるが、進化するエージェントには十分ではなく、そのエピステマ性や信念の状態を変更したり、異種エージェントがシステムのどの段階でもシステムに参加または離脱できるオープンマルチエージェントシステムには十分ではない。
本稿では,エージェントの信頼度と倫理性を確保するために考案された,動的(実行時)論理に基づく自己検査手法を提案する。
関連論文リスト
- Do LLMs trust AI regulation? Emerging behaviour of game-theoretic LLM agents [61.132523071109354]
本稿では、異なる規制シナリオ下での戦略選択をモデル化する、AI開発者、規制当局、ユーザ間の相互作用について検討する。
我々の研究は、純粋なゲーム理論エージェントよりも「悲観的」な姿勢を採用する傾向にある戦略的AIエージェントの出現する振る舞いを特定する。
論文 参考訳(メタデータ) (2025-04-11T15:41:21Z) - Agentic Knowledgeable Self-awareness [79.25908923383776]
KnowSelfはデータ中心のアプローチで、人間のような知識のある自己認識を持つエージェントを応用する。
我々の実験により、KnowSelfは、外部知識を最小限に使用して、様々なタスクやモデルにおいて、様々な強力なベースラインを達成できることが実証された。
論文 参考訳(メタデータ) (2025-04-04T16:03:38Z) - Free Agent in Agent-Based Mixture-of-Experts Generative AI Framework [0.0]
強化学習自由エージェント (Reinforcement Learning Free Agent, RLFA) アルゴリズムは、永続的な過パフォーマンスを示すエージェントを検出し、除去するための報酬に基づくメカニズムを導入する。
第一のユースケースは不正検出であり、RLFAは事前に設定された閾値以下で検出精度が低下するエージェントを即座に交換する。
このダイナミックでフリーの緊急サイクルは、持続的な正確さ、出現する脅威への迅速な適応、進行中の運用に対する最小限の中断を保証する。
論文 参考訳(メタデータ) (2025-01-29T13:00:22Z) - A Taxonomy of AgentOps for Enabling Observability of Foundation Model based Agents [12.49728300301026]
LLMはさまざまなダウンストリームタスクの成長を加速させ、AI自動化の需要が増加した。
AIエージェントシステムは、より複雑なタスクに取り組み、進化するにつれて、より幅広い利害関係者が関与する。
これらのシステムは、AIエージェント、RAGパイプライン、プロンプト管理、エージェント機能、可観測性機能など、複数のコンポーネントを統合する。
開発から運用ライフサイクル全体にわたって可観測性とトレーサビリティを確保するために、AgentOpsプラットフォームの設計に移行することが不可欠です。
論文 参考訳(メタデータ) (2024-11-08T02:31:03Z) - Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。
これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。
55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
論文 参考訳(メタデータ) (2024-10-14T17:57:02Z) - Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。
我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。
これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
論文 参考訳(メタデータ) (2024-09-03T10:14:51Z) - PsySafe: A Comprehensive Framework for Psychological-based Attack, Defense, and Evaluation of Multi-agent System Safety [70.84902425123406]
大規模言語モデル(LLM)で拡張されたマルチエージェントシステムは、集団知能において重要な能力を示す。
しかし、悪意のある目的のためにこのインテリジェンスを誤用する可能性があり、重大なリスクが生じる。
本研究では,エージェント心理学を基盤とした枠組み(PsySafe)を提案し,エージェントのダークパーソナリティ特性がリスク行動にどう影響するかを明らかにする。
実験の結果,エージェント間の集団的危険行動,エージェントが危険な行動を行う際の自己反射,エージェントの心理的評価と危険な行動との相関など,いくつかの興味深い現象が明らかになった。
論文 参考訳(メタデータ) (2024-01-22T12:11:55Z) - Agent Alignment in Evolving Social Norms [65.45423591744434]
本稿では,エージェント進化とアライメントのための進化的フレームワークであるEvolutionaryAgentを提案する。
社会規範が継続的に進化する環境では、エージェントは現在の社会規範に適応し、生存と増殖の確率が高くなる。
進化的エージェントは、一般的なタスクにおいてその能力を維持しながら、進化する社会規範と徐々に整合できることを示す。
論文 参考訳(メタデータ) (2024-01-09T15:44:44Z) - The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる
まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。
単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
論文 参考訳(メタデータ) (2023-09-14T17:12:03Z) - Towards a Unifying Model of Rationality in Multiagent Systems [11.321217099465196]
マルチエージェントシステムは、これらのエージェントが互いに協力するのと同じくらい効果的に、他のエージェント(人間を含む)と協力する必要がある。
本稿では,個々に合理的な学習者であり,相互に協力できる社会的知的エージェントの汎用モデルを提案する。
我々は、異なる形態の後悔のために、社会的にインテリジェントなエージェントを構築する方法を示します。
論文 参考訳(メタデータ) (2023-05-29T13:18:43Z) - Multi-Agent Reinforcement Learning with Temporal Logic Specifications [65.79056365594654]
本研究では,時間論理仕様を満たすための学習課題を,未知の環境下でエージェントのグループで検討する。
我々は、時間論理仕様のための最初のマルチエージェント強化学習手法を開発した。
主アルゴリズムの正確性と収束性を保証する。
論文 参考訳(メタデータ) (2021-02-01T01:13:03Z) - Towards a Policy-as-a-Service Framework to Enable Compliant, Trustworthy
AI and HRI Systems in the Wild [7.225523345649149]
信頼できる自律システムの構築は、単に「常に正しいことをする」エージェントを雇おうとする以上の多くの理由から難しい。
AIとHRIには、信頼の問題は本質的に社会技術的である、というより広い文脈がある。
本稿では, 信頼性の「ファジィ」な社会技術的側面と, 設計・展開の両面での配慮の必要性を強調した。
論文 参考訳(メタデータ) (2020-10-06T18:32:31Z) - Safe Reinforcement Learning via Curriculum Induction [94.67835258431202]
安全クリティカルなアプリケーションでは、自律エージェントはミスが非常にコストがかかる環境で学ぶ必要がある。
既存の安全な強化学習手法は、エージェントが危険な状況を避けるために、事前にエージェントを頼りにしている。
本稿では,エージェントが自動インストラクターの指導の下で学習する,人間の指導にインスパイアされた代替手法を提案する。
論文 参考訳(メタデータ) (2020-06-22T10:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。