論文の概要: On the consistent reasoning paradox of intelligence and optimal trust in AI: The power of 'I don't know'

• arxiv url: http://arxiv.org/abs/2408.02357v1
• Date: Mon, 5 Aug 2024 10:06:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 13:56:46.266074
• Title: On the consistent reasoning paradox of intelligence and optimal trust in AI: The power of 'I don't know'
• Title（参考訳）: 知性の一貫性のある推論パラドックスとAIの最適信頼について:「私は知らない」の力
• Authors: Alexander Bastounis, Paolo Campodonico, Mihaela van der Schaar, Ben Adcock, Anders C. Hansen,
• Abstract要約: 一貫性推論(Consistent reasoning)は、人間の知性の中心にある、同等のタスクを扱う能力である。 CRPは、一貫性のある推論は誤認を意味する、と論じている。
• 参考スコア（独自算出の注目度）: 79.69412622010249
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce the Consistent Reasoning Paradox (CRP). Consistent reasoning, which lies at the core of human intelligence, is the ability to handle tasks that are equivalent, yet described by different sentences ('Tell me the time!' and 'What is the time?'). The CRP asserts that consistent reasoning implies fallibility -- in particular, human-like intelligence in AI necessarily comes with human-like fallibility. Specifically, it states that there are problems, e.g. in basic arithmetic, where any AI that always answers and strives to mimic human intelligence by reasoning consistently will hallucinate (produce wrong, yet plausible answers) infinitely often. The paradox is that there exists a non-consistently reasoning AI (which therefore cannot be on the level of human intelligence) that will be correct on the same set of problems. The CRP also shows that detecting these hallucinations, even in a probabilistic sense, is strictly harder than solving the original problems, and that there are problems that an AI may answer correctly, but it cannot provide a correct logical explanation for how it arrived at the answer. Therefore, the CRP implies that any trustworthy AI (i.e., an AI that never answers incorrectly) that also reasons consistently must be able to say 'I don't know'. Moreover, this can only be done by implicitly computing a new concept that we introduce, termed the 'I don't know' function -- something currently lacking in modern AI. In view of these insights, the CRP also provides a glimpse into the behaviour of Artificial General Intelligence (AGI). An AGI cannot be 'almost sure', nor can it always explain itself, and therefore to be trustworthy it must be able to say 'I don't know'.
• Abstract（参考訳）: 本稿では,Consistent Reasoning Paradox (CRP)を紹介する。 一貫性推論(Consistent reasoning)は、人間の知性の中核にある、同じタスクを扱う能力であり、異なる文で説明される("Tell me the time!"と"What is the time")。 CRPは、一貫性のある推論は誤認を意味すると主張している。 具体的には、例えば、基本的な算術では、推論によって常に人間の知性を模倣し、常に答えようとするAIが、幻覚(間違った、しかし、もっともらしい答え)を無限に繰り返す、という問題が存在する。 パラドックスは、AI(従って人間の知能のレベルにはない)を矛盾なく推論するAIが存在し、同じ問題のセットで正しいということである。 また、CRPは、確率論的意味でも、これらの幻覚を検出することは、元の問題を解決するよりも厳密なものであり、AIが正しく答える可能性のある問題もあるが、その答えにどのように到達したかについての正確な論理的説明を与えることはできないことを示している。 したがって、CRPは、信頼できるAI(つまり、決して正しく答えないAI)が常に「私は知らない」と発言しなければならないことを示唆している。 さらに、これは、私たちが'I don't know'関数と呼ぶ新しい概念を暗黙的に計算することでのみ実現できる。 これらの洞察の観点から、CRPは人工知能(AGI)の振る舞いを垣間見ることもできる。 AGIは「ほとんど確実」ではないし、それ自身を常に説明できないので、信頼できるものとしては「私は知らない」と言えなければならない。

関連論文リスト

• Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
  AIシステムは知恵を欠いている。 AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。 メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
  論文  参考訳（メタデータ） (2024-11-04T18:10:10Z)
• Unexplainability of Artificial Intelligence Judgments in Kant's Perspective [0.0]
  本稿は,AI判断が人間の判断の特性の観点から理解できない形態を示すものであることを論じる。 物理述語を含まない概念は、視覚を通して関数が示されるときの説明が簡単でないことを示す。
  論文  参考訳（メタデータ） (2024-07-12T03:39:55Z)
• Making AI Intelligible: Philosophical Foundations [0.0]
  「AI知能の育成」は、意味のメタ物理に関する哲学的な研究がこれらの疑問に答えるのに役立つことを示している。 著者: 本書で取り上げられた質問は理論的に興味深いだけでなく、答えは実際的な意味を迫っている。
  論文  参考訳（メタデータ） (2024-06-12T12:25:04Z)
• The Generative AI Paradox: "What It Can Create, It May Not Understand" [81.89252713236746]
  生成AIの最近の波は、潜在的に超人的な人工知能レベルに対する興奮と懸念を引き起こしている。 同時に、モデルは、専門家でない人でも期待できないような理解の基本的な誤りを示している。 一見超人的な能力と、ごく少数の人間が起こすエラーの持続性を、どうやって再現すればよいのか?
  論文  参考訳（メタデータ） (2023-10-31T18:07:07Z)
• Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc [0.0]
  ジェネレーティブAI(Generative AI)は、AIに対して最もポピュラーなアプローチであり、必ずしも正しいとは限らないアウトプットを生成するために訓練された大規模な言語モデル(LLM)で構成されている。 我々は、現在のアプローチに関連する多くの制限を理論的に解決できるAIに代わるアプローチについて議論する。
  論文  参考訳（メタデータ） (2023-07-31T16:29:28Z)
• Epistemic considerations when AI answers questions for us [0.0]
  我々は、我々の質問に答え、アウトプットを判断するためにAIに不注意に依存することは、グレースの「品質の最大」と「レモインの法的な「無実の最高」に違反していると主張している。 AIが生成し、AIが評価したコンテンツのアウトプットと結果に重点を置いていないのは、適切なトリビュートを支払うことを除けば、人の思考プロセスに従うことの要求である。
  論文  参考訳（メタデータ） (2023-04-23T08:26:42Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• An argument for the impossibility of machine intelligence [0.0]
  AIの担い手になり得るエージェント(デバイス)とは何かを定義する。 我々は「知性の主流」の定義が弱すぎて、昆虫に知性を割り当てる際に関係するものを捉えることができないことを示した。 私たちは、この定義によって知能の担い手となるために、AIエージェントが保持しなければならない特性を特定します。
  論文  参考訳（メタデータ） (2021-10-20T08:54:48Z)
• Trustworthy AI: A Computational Perspective [54.80482955088197]
  我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。 各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
  論文  参考訳（メタデータ） (2021-07-12T14:21:46Z)
• Inductive Biases for Deep Learning of Higher-Level Cognition [108.89281493851358]
  興味深い仮説は、人間と動物の知性はいくつかの原則によって説明できるということである。 この研究は、主に高いレベルとシーケンシャルな意識的処理に関心のある人を中心に、より大きなリストを考察する。 これらの特定の原則を明確にする目的は、人間の能力から恩恵を受けるAIシステムを構築するのに役立つ可能性があることである。
  論文  参考訳（メタデータ） (2020-11-30T18:29:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。