論文の概要: Ensuring trustworthy and ethical behaviour in intelligent logical agents
- arxiv url: http://arxiv.org/abs/2402.07547v1
- Date: Mon, 12 Feb 2024 10:19:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-02-13 14:42:32.030445
- Title: Ensuring trustworthy and ethical behaviour in intelligent logical agents
- Title(参考訳): 知的論理エージェントにおける信頼性と倫理的行動の確保
- Authors: Stefania Costantini
- Abstract要約: 本稿では動的(実行時)な論理に基づく自己チェック手法を提案する。
本稿では,動的(実行時)な論理に基づく自己チェック手法を提案する。
- 参考スコア(独自算出の注目度): 1.9580473532948401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous Intelligent Agents are employed in many applications upon which
the life and welfare of living beings and vital social functions may depend.
Therefore, agents should be trustworthy. A priori certification techniques
(i.e., techniques applied prior to system's deployment) can be useful, but are
not sufficient for agents that evolve, and thus modify their epistemic and
belief state, and for open Multi-Agent Systems, where heterogeneous agents can
join or leave the system at any stage of its operation. In this paper, we
propose/refine/extend dynamic (runtime) logic-based self-checking techniques,
devised in order to be able to ensure agents' trustworthy and ethical
behaviour.
- Abstract(参考訳): 自律的な知的エージェントは、生命の生命と福祉と重要な社会的機能に依存する多くの応用で採用されている。
したがって、エージェントは信頼に値する。
事前認証技術(すなわち、システムの配備前に適用される技術)は有用であるが、進化するエージェントには十分ではなく、そのエピステマ性や信念の状態を変更したり、異種エージェントがシステムのどの段階でもシステムに参加または離脱できるオープンマルチエージェントシステムには十分ではない。
本稿では,エージェントの信頼度と倫理性を確保するために考案された,動的(実行時)論理に基づく自己検査手法を提案する。
関連論文リスト
- SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。
行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。
また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
論文 参考訳(メタデータ) (2025-07-01T15:10:00Z) - Levels of Autonomy for AI Agents [9.324309359500198]
エージェントの自律性のレベルは、その能力と運用環境とは別に、意図的な設計上の決定として扱うことができると論じる。
エージェントと対話する際の役割を特徴とし,エージェントの自律性を高める5つのレベルを定義した。
シングルエージェントおよびマルチエージェントシステムにおけるエージェントの動作を管理するために、AI自律性証明書に対する私たちのフレームワークの潜在的な応用を強調します。
論文 参考訳(メタデータ) (2025-06-14T12:14:36Z) - Toward a Theory of Agents as Tool-Use Decision-Makers [89.26889709510242]
真の自律性は、エージェントが、彼らが知っていること、必要なこと、そしてその知識を効率的に獲得する方法を統治する、一貫性のある疫学の枠組みに根ざす必要がある、と我々は主張する。
本研究では,内的推論と外的行動を等価な疫学ツールとして扱う統一理論を提案し,エージェントが内観と相互作用を体系的に調整することを可能にする。
この視点は、エージェントの設計を単なるアクションエグゼクタから知識駆動インテリジェンスシステムにシフトさせ、適応的で効率的でゴール指向の行動が可能な基礎エージェントを構築するための原則化された道筋を提供する。
論文 参考訳(メタデータ) (2025-06-01T07:52:16Z) - LLM Agents Should Employ Security Principles [60.03651084139836]
本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。
AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
論文 参考訳(メタデータ) (2025-05-29T21:39:08Z) - Do LLMs trust AI regulation? Emerging behaviour of game-theoretic LLM agents [61.132523071109354]
本稿では、異なる規制シナリオ下での戦略選択をモデル化する、AI開発者、規制当局、ユーザ間の相互作用について検討する。
我々の研究は、純粋なゲーム理論エージェントよりも「悲観的」な姿勢を採用する傾向にある戦略的AIエージェントの出現する振る舞いを特定する。
論文 参考訳(メタデータ) (2025-04-11T15:41:21Z) - Agentic Knowledgeable Self-awareness [79.25908923383776]
KnowSelfはデータ中心のアプローチで、人間のような知識のある自己認識を持つエージェントを応用する。
我々の実験により、KnowSelfは、外部知識を最小限に使用して、様々なタスクやモデルにおいて、様々な強力なベースラインを達成できることが実証された。
論文 参考訳(メタデータ) (2025-04-04T16:03:38Z) - Agentic Business Process Management: Practitioner Perspectives on Agent Governance in Business Processes [0.7270112855088837]
生成AIの台頭に伴い、ソフトウェアエージェントへの産業的関心が高まりつつある。
本稿では,組織がAIエージェントを効果的に管理する方法を検討する。
AIエージェントの採用に責任を負う6つの重要な推奨事項を概説している。
論文 参考訳(メタデータ) (2025-03-23T20:15:24Z) - Free Agent in Agent-Based Mixture-of-Experts Generative AI Framework [0.0]
強化学習自由エージェント (Reinforcement Learning Free Agent, RLFA) アルゴリズムは、永続的な過パフォーマンスを示すエージェントを検出し、除去するための報酬に基づくメカニズムを導入する。
第一のユースケースは不正検出であり、RLFAは事前に設定された閾値以下で検出精度が低下するエージェントを即座に交換する。
このダイナミックでフリーの緊急サイクルは、持続的な正確さ、出現する脅威への迅速な適応、進行中の運用に対する最小限の中断を保証する。
論文 参考訳(メタデータ) (2025-01-29T13:00:22Z) - A Taxonomy of AgentOps for Enabling Observability of Foundation Model based Agents [12.49728300301026]
LLMはさまざまなダウンストリームタスクの成長を加速させ、AI自動化の需要が増加した。
AIエージェントシステムは、より複雑なタスクに取り組み、進化するにつれて、より幅広い利害関係者が関与する。
これらのシステムは、AIエージェント、RAGパイプライン、プロンプト管理、エージェント機能、可観測性機能など、複数のコンポーネントを統合する。
開発から運用ライフサイクル全体にわたって可観測性とトレーサビリティを確保するために、AgentOpsプラットフォームの設計に移行することが不可欠です。
論文 参考訳(メタデータ) (2024-11-08T02:31:03Z) - Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。
これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。
55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
論文 参考訳(メタデータ) (2024-10-14T17:57:02Z) - Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。
我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。
これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
論文 参考訳(メタデータ) (2024-09-03T10:14:51Z) - PsySafe: A Comprehensive Framework for Psychological-based Attack, Defense, and Evaluation of Multi-agent System Safety [70.84902425123406]
大規模言語モデル(LLM)で拡張されたマルチエージェントシステムは、集団知能において重要な能力を示す。
しかし、悪意のある目的のためにこのインテリジェンスを誤用する可能性があり、重大なリスクが生じる。
本研究では,エージェント心理学を基盤とした枠組み(PsySafe)を提案し,エージェントのダークパーソナリティ特性がリスク行動にどう影響するかを明らかにする。
実験の結果,エージェント間の集団的危険行動,エージェントが危険な行動を行う際の自己反射,エージェントの心理的評価と危険な行動との相関など,いくつかの興味深い現象が明らかになった。
論文 参考訳(メタデータ) (2024-01-22T12:11:55Z) - Agent Alignment in Evolving Social Norms [65.45423591744434]
本稿では,エージェント進化とアライメントのための進化的フレームワークであるEvolutionaryAgentを提案する。
社会規範が継続的に進化する環境では、エージェントは現在の社会規範に適応し、生存と増殖の確率が高くなる。
進化的エージェントは、一般的なタスクにおいてその能力を維持しながら、進化する社会規範と徐々に整合できることを示す。
論文 参考訳(メタデータ) (2024-01-09T15:44:44Z) - The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる
まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。
単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
論文 参考訳(メタデータ) (2023-09-14T17:12:03Z) - Towards a Unifying Model of Rationality in Multiagent Systems [11.321217099465196]
マルチエージェントシステムは、これらのエージェントが互いに協力するのと同じくらい効果的に、他のエージェント(人間を含む)と協力する必要がある。
本稿では,個々に合理的な学習者であり,相互に協力できる社会的知的エージェントの汎用モデルを提案する。
我々は、異なる形態の後悔のために、社会的にインテリジェントなエージェントを構築する方法を示します。
論文 参考訳(メタデータ) (2023-05-29T13:18:43Z) - Multi-Agent Reinforcement Learning with Temporal Logic Specifications [65.79056365594654]
本研究では,時間論理仕様を満たすための学習課題を,未知の環境下でエージェントのグループで検討する。
我々は、時間論理仕様のための最初のマルチエージェント強化学習手法を開発した。
主アルゴリズムの正確性と収束性を保証する。
論文 参考訳(メタデータ) (2021-02-01T01:13:03Z) - Towards a Policy-as-a-Service Framework to Enable Compliant, Trustworthy
AI and HRI Systems in the Wild [7.225523345649149]
信頼できる自律システムの構築は、単に「常に正しいことをする」エージェントを雇おうとする以上の多くの理由から難しい。
AIとHRIには、信頼の問題は本質的に社会技術的である、というより広い文脈がある。
本稿では, 信頼性の「ファジィ」な社会技術的側面と, 設計・展開の両面での配慮の必要性を強調した。
論文 参考訳(メタデータ) (2020-10-06T18:32:31Z) - Safe Reinforcement Learning via Curriculum Induction [94.67835258431202]
安全クリティカルなアプリケーションでは、自律エージェントはミスが非常にコストがかかる環境で学ぶ必要がある。
既存の安全な強化学習手法は、エージェントが危険な状況を避けるために、事前にエージェントを頼りにしている。
本稿では,エージェントが自動インストラクターの指導の下で学習する,人間の指導にインスパイアされた代替手法を提案する。
論文 参考訳(メタデータ) (2020-06-22T10:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。