論文の概要: The Reasoning Under Uncertainty Trap: A Structural AI Risk

• arxiv url: http://arxiv.org/abs/2402.01743v1
• Date: Mon, 29 Jan 2024 17:16:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-11 16:03:04.332900
• Title: The Reasoning Under Uncertainty Trap: A Structural AI Risk
• Title（参考訳）: 不確実性による推論:構造的AIリスク
• Authors: Toby D. Pilditch
• Abstract要約: RUUを人間と機械の両方にとって困難なものにしているのは、レポートにある。 この誤用リスクが、基盤となる構造的リスクのネットワークとどのように結びつくのかを詳述する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This report examines a novel risk associated with current (and projected) AI tools. Making effective decisions about future actions requires us to reason under uncertainty (RUU), and doing so is essential to many critical real world problems. Overfaced by this challenge, there is growing demand for AI tools like LLMs to assist decision-makers. Having evidenced this demand and the incentives behind it, we expose a growing risk: we 1) do not currently sufficiently understand LLM capabilities in this regard, and 2) have no guarantees of performance given fundamental computational explosiveness and deep uncertainty constraints on accuracy. This report provides an exposition of what makes RUU so challenging for both humans and machines, and relates these difficulties to prospective AI timelines and capabilities. Having established this current potential misuse risk, we go on to expose how this seemingly additive risk (more misuse additively contributed to potential harm) in fact has multiplicative properties. Specifically, we detail how this misuse risk connects to a wider network of underlying structural risks (e.g., shifting incentives, limited transparency, and feedback loops) to produce non-linear harms. We go on to provide a solutions roadmap that targets multiple leverage points in the structure of the problem. This includes recommendations for all involved actors (prospective users, developers, and policy-makers) and enfolds insights from areas including Decision-making Under Deep Uncertainty and complex systems theory. We argue this report serves not only to raise awareness (and subsequently mitigate/correct) of a current, novel AI risk, but also awareness of the underlying class of structural risks by illustrating how their interconnected nature poses twin-dangers of camouflaging their presence, whilst amplifying their potential effects.
• Abstract（参考訳）: 本稿では,現在の(そして予想される)AIツールに関連する新たなリスクについて検討する。 将来の行動について効果的な決定を下すには、不確実性の下での推論(ruu)が必要です。 この課題に直面して、意思決定者を支援するLLMのようなAIツールへの需要が高まっている。 この需要とそれの背後にあるインセンティブを証明して、私たちはリスクを増大させます。 1)現在、この点においてLLMの能力を十分に理解していない。 2) 基礎計算の爆発性および精度に対する深い不確実性制約を考慮すれば, 性能の保証は得られない。 このレポートは、RUUを人間と機械の両方にとって困難なものにしているものを示し、これらの困難をAIのタイムラインと能力に関連付ける。 現在の潜在的な誤用リスクを確立した上で、この追加的リスク(より誤用が潜在的害に寄与した)が実際に乗法的特性を持つことを明らかにする。 具体的には、この誤用リスクが、基盤となる構造的リスクのネットワーク(例えば、インセンティブのシフト、透明性の制限、フィードバックループ)とどのように結びつき、非線形の害を生み出すかを詳述する。 続いて、問題の構造における複数のレバレッジポイントをターゲットにしたソリューションロードマップを提供しています。 これには、関与するアクター(プロスペクティブユーザ、開発者、ポリシーメーカ)すべてに対するレコメンデーションが含まれ、Decision-making Under Deep Uncertaintyや複雑なシステム理論といった分野からの洞察を包含する。 このレポートは、現在の新しいAIリスクの認識(そしてその後、緩和/修正)を高めるだけでなく、それらの相互接続された性質が、その潜在的な影響を増幅しながら、その存在を2つの危険に見立てることによって、基盤となる構造的リスクの意識を高めるのに役立つ。

関連論文リスト

• Risks and NLP Design: A Case Study on Procedural Document QA [52.557503571760215]
  より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。 リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
  論文  参考訳（メタデータ） (2024-08-16T17:23:43Z)
• AI and the Iterable Epistopics of Risk [1.26404863283601]
  AIが社会に提示するリスクは、一般的な計算によって管理可能であると広く理解されている。 本稿では、規制当局、開発者、サイバーセキュリティの専門家によるリスクの把握と管理について詳述する。
  論文  参考訳（メタデータ） (2024-04-29T13:33:22Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• On Catastrophic Inheritance of Large Foundation Models [51.41727422011327]
  大ファンデーションモデル(LFM)は素晴らしいパフォーマンスを誇示している。しかし、彼らの神話的および解釈されていないポテンシャルについて大きな懸念が持ち上がっている。 我々は, LFMに深く根ざした「破滅的継承」という, 無視された問題を特定することを提案する。 この問題の背景にある課題を議論し、事前学習と下流適応の両方からLFMの破滅的な継承を理解するためのフレームワークであるUIMを提案する。
  論文  参考訳（メタデータ） (2024-02-02T21:21:55Z)
• Capsa: A Unified Framework for Quantifying Risk in Deep Neural Networks [142.67349734180445]
  ディープニューラルネットワークにリスク認識を提供する既存のアルゴリズムは複雑でアドホックである。 ここでは、リスク認識でモデルを拡張するためのフレームワークであるcapsaを紹介します。
  論文  参考訳（メタデータ） (2023-08-01T02:07:47Z)
• Anticipatory Thinking Challenges in Open Worlds: Risk Management [7.820667552233988]
  AIシステムが日々の生活の一部になるにつれ、彼らもリスクを管理し始めています。 低周波で高インパクトなリスクを識別し緩和する学習は、機械学習モデルをトレーニングするために必要な観察バイアスと相反する。 私たちのゴールは、オープンワールドと究極的には現実世界のリスクを管理するためにAIエージェントが必要とする予測思考を評価し改善するソリューションの研究を促進することです。
  論文  参考訳（メタデータ） (2023-06-22T18:31:17Z)
• On the Security Risks of Knowledge Graph Reasoning [71.64027889145261]
  我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。 我々は、このような脅威をインスタンス化する新しいタイプの攻撃であるROARを提示する。 ROARに対する潜在的な対策として,潜在的に有毒な知識のフィルタリングや,対向的な拡張クエリによるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-05-03T18:47:42Z)
• Liability regimes in the age of AI: a use-case driven analysis of the burden of proof [1.7510020208193926]
  人工知能(AI)を利用した新しいテクノロジーは、私たちの社会をより良く、破壊的に変革する可能性を秘めている。 しかし、安全と基本的権利の両方に潜在的なリスクをもたらす、これらの方法論の固有の特性に対する懸念が高まっている。 本稿では,これらの難易度を示す3つのケーススタディと,それらに到達するための方法論について述べる。
  論文  参考訳（メタデータ） (2022-11-03T13:55:36Z)
• Current and Near-Term AI as a Potential Existential Risk Factor [5.1806669555925975]
  我々は、現在および短期的な人工知能技術が、現実的なリスクに寄与する可能性があるという考えを問題視する。 我々は、すでに文書化されているAIの効果が、実在するリスク要因として機能する、という仮説を提案する。 私たちの主な貢献は、潜在的なAIリスク要因とそれら間の因果関係の展示です。
  論文  参考訳（メタデータ） (2022-09-21T18:56:14Z)
• Ethical and social risks of harm from Language Models [22.964941107198023]
  本稿では,大規模言語モデル(LM)に関連するリスクランドスケープの構築を支援することを目的とする。 コンピュータ科学、言語学、社会科学から多分野の専門知識と文献を参考に、幅広い確立と予測されたリスクが詳細に分析されている。
  論文  参考訳（メタデータ） (2021-12-08T16:09:48Z)
• Overcoming Failures of Imagination in AI Infused System Development and Deployment [71.9309995623067]
  NeurIPS 2020は研究論文に「潜在的な悪用と失敗の結果」に関するインパクトステートメントを含むよう要求した。 我々は、害の枠組みは文脈に適応し、潜在的な利害関係者、システム余裕、および最も広い意味での害を評価するための実行可能なプロキシを考える必要があると論じている。
  論文  参考訳（メタデータ） (2020-11-26T18:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。