論文の概要: Harms from Increasingly Agentic Algorithmic Systems

• arxiv url: http://arxiv.org/abs/2302.10329v2
• Date: Fri, 12 May 2023 02:49:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 15:53:55.145076
• Title: Harms from Increasingly Agentic Algorithmic Systems
• Title（参考訳）: エージェントアルゴリズムの高度化によるハーム
• Authors: Alan Chan, Rebecca Salganik, Alva Markelius, Chris Pang, Nitarshan Rajkumar, Dmitrii Krasheninnikov, Lauro Langosco, Zhonghao He, Yawen Duan, Micah Carroll, Michelle Lin, Alex Mayhew, Katherine Collins, Maryam Molamohammadi, John Burden, Wanru Zhao, Shalaleh Rismani, Konstantinos Voudouris, Umang Bhatt, Adrian Weller, David Krueger, Tegan Maharaj
• Abstract要約: 公正性、説明責任、透明性、倫理(FATE)の研究は、多くのアルゴリズム的害の源泉と形態を確立している。 継続的な被害にもかかわらず、同じ害の永続性を脅かす新しいシステムが開発され、展開されている。
• 参考スコア（独自算出の注目度）: 21.613581713046464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research in Fairness, Accountability, Transparency, and Ethics (FATE) has established many sources and forms of algorithmic harm, in domains as diverse as health care, finance, policing, and recommendations. Much work remains to be done to mitigate the serious harms of these systems, particularly those disproportionately affecting marginalized communities. Despite these ongoing harms, new systems are being developed and deployed which threaten the perpetuation of the same harms and the creation of novel ones. In response, the FATE community has emphasized the importance of anticipating harms. Our work focuses on the anticipation of harms from increasingly agentic systems. Rather than providing a definition of agency as a binary property, we identify 4 key characteristics which, particularly in combination, tend to increase the agency of a given algorithmic system: underspecification, directness of impact, goal-directedness, and long-term planning. We also discuss important harms which arise from increasing agency -- notably, these include systemic and/or long-range impacts, often on marginalized stakeholders. We emphasize that recognizing agency of algorithmic systems does not absolve or shift the human responsibility for algorithmic harms. Rather, we use the term agency to highlight the increasingly evident fact that ML systems are not fully under human control. Our work explores increasingly agentic algorithmic systems in three parts. First, we explain the notion of an increase in agency for algorithmic systems in the context of diverse perspectives on agency across disciplines. Second, we argue for the need to anticipate harms from increasingly agentic systems. Third, we discuss important harms from increasingly agentic systems and ways forward for addressing them. We conclude by reflecting on implications of our work for anticipating algorithmic harms from emerging systems.
• Abstract（参考訳）: FATE(Research in Fairness, Accountability, Transparency, and Ethics)は、医療、金融、警察、レコメンデーションといった様々な分野において、アルゴリズムによる害の源泉と形態を確立している。 これらのシステムの深刻な被害を緩和するために多くの作業が継続され、特に周辺地域社会に不釣り合いに影響を及ぼしている。 これらの継続的な害にもかかわらず、同じ害の永続性と新しい害の創出を脅かす新しいシステムが開発され、展開されている。 これに対し、FATEコミュニティは害を予想することの重要性を強調している。 我々の研究は、ますますエージェントシステムからの危害の予測に焦点を当てている。 二元性としてエージェンシーの定義を提供する代わりに、特に組み合わせて、特定のアルゴリズムシステムのエージェンシーを増加させる傾向がある4つの重要な特徴を識別する: 下位特定、影響の直接性、目標指向性、長期計画である。 我々はまた、機関の増加によって生じる重要な危害についても論じる -- 特に、システム的および/または長距離的影響、しばしば限界化されたステークホルダーへの影響を含む。 我々は、アルゴリズムシステムの認識機関が、アルゴリズムの害に対する人間の責任を解消またはシフトしないことを強調した。 むしろ、私たちはこの用語を使って、MLシステムが完全に人間のコントロール下にないという、ますます明白な事実を強調しています。 本研究は,3つの部分のエージェント型アルゴリズムシステムについて検討する。 まず,アルゴリズムシステムにおけるエージェントの増加という概念を,分野横断のエージェントに対する多様な視点の文脈で説明する。 第2に,エージェントシステムの増加に伴う被害を予測する必要性について論じる。 第3に,エージェントシステムの増加に伴う重要な害とその対処方法について議論する。 我々は,新興システムからのアルゴリズム的害を予想する作業の意義を反映して結論付ける。

関連論文リスト

• Causal Responsibility Attribution for Human-AI Collaboration [62.474732677086855]
  本稿では,人間のAIシステムにおける責任を体系的に評価するために,構造因果モデル(SCM)を用いた因果的枠組みを提案する。 2つのケーススタディは、多様な人間とAIのコラボレーションシナリオにおけるフレームワークの適応性を示している。
  論文  参考訳（メタデータ） (2024-11-05T17:17:45Z)
• Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
  エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。 本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:09:56Z)
• PsySafe: A Comprehensive Framework for Psychological-based Attack, Defense, and Evaluation of Multi-agent System Safety [70.84902425123406]
  大規模言語モデル(LLM)で拡張されたマルチエージェントシステムは、集団知能において重要な能力を示す。 しかし、悪意のある目的のためにこのインテリジェンスを誤用する可能性があり、重大なリスクが生じる。 本研究では,エージェント心理学を基盤とした枠組み(PsySafe)を提案し,エージェントのダークパーソナリティ特性がリスク行動にどう影響するかを明らかにする。 実験の結果,エージェント間の集団的危険行動,エージェントが危険な行動を行う際の自己反射,エージェントの心理的評価と危険な行動との相関など,いくつかの興味深い現象が明らかになった。
  論文  参考訳（メタデータ） (2024-01-22T12:11:55Z)
• A Framework for Exploring the Consequences of AI-Mediated Enterprise Knowledge Access and Identifying Risks to Workers [3.4568218861862556]
  本稿では、AIを利用した企業知識アクセスシステムから労働者のリスクを特定するためのConsequence-Mechanism-Riskフレームワークを提案する。 我々は、労働者に対するリスクを詳述した幅広い文献を執筆し、労働者の価値、力、幸福に対するリスクを分類した。 今後の作業は、この枠組みを他の技術システムに適用し、労働者や他のグループの保護を促進する可能性がある。
  論文  参考訳（メタデータ） (2023-12-08T17:05:40Z)
• Fair Enough? A map of the current limitations of the requirements to have fair algorithms [43.609606707879365]
  我々は、社会が自動意思決定システムから要求しているものと、この要求が現実のシナリオで実際に意味しているものとの間には、因果関係があることを論じる。 自動意思決定システムにおける公正性の増大に具体的な意味を与えるため、社会として対応しなければならない重要なオープンポイントの集合を概説する。
  論文  参考訳（メタデータ） (2023-11-21T08:44:38Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• Bias Impact Analysis of AI in Consumer Mobile Health Technologies: Legal, Technical, and Policy [1.6114012813668934]
  本研究は,消費者向けモバイルヘルス技術(mHealth)におけるアルゴリズムバイアスの交叉について検討する。 現在のメカニズム – 法的,技術的,あるいは規範 – が,望ましくないバイアスに伴う潜在的なリスクを軽減する上で,どのような効果があるのか,検討する。 我々は、技術者や政策立案者の役割と責任に関する追加のガイダンスを提供し、そのようなシステムが患者に公平な力を与えるようにしなくてはならない。
  論文  参考訳（メタデータ） (2022-08-29T00:15:45Z)
• Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety [54.478842696269304]
  安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。 近年,これらの安全対策を目的とした最先端技術動物園が出現している。 本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
  論文  参考訳（メタデータ） (2021-04-29T09:54:54Z)
• Multiscale Governance [0.0]
  ヒトデミクスは、異なるシステムを結ぶ経路のために伝播する。 システムの脆弱性や堅牢性は、この複雑なシステムのネットワークがどのように管理されているかによって異なります。
  論文  参考訳（メタデータ） (2021-04-06T19:23:44Z)
• Overcoming Failures of Imagination in AI Infused System Development and Deployment [71.9309995623067]
  NeurIPS 2020は研究論文に「潜在的な悪用と失敗の結果」に関するインパクトステートメントを含むよう要求した。 我々は、害の枠組みは文脈に適応し、潜在的な利害関係者、システム余裕、および最も広い意味での害を評価するための実行可能なプロキシを考える必要があると論じている。
  論文  参考訳（メタデータ） (2020-11-26T18:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。