論文の概要: Building Trustworthy NeuroSymbolic AI Systems: Consistency, Reliability,
Explainability, and Safety
- arxiv url: http://arxiv.org/abs/2312.06798v1
- Date: Tue, 5 Dec 2023 06:13:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 14:52:33.122516
- Title: Building Trustworthy NeuroSymbolic AI Systems: Consistency, Reliability,
Explainability, and Safety
- Title（参考訳）: 信頼できるニューロシンボリックAIシステムの構築:一貫性、信頼性、説明可能性、安全性
- Authors: Manas Gaur, Amit Sheth
- Abstract要約: 我々は、NeuroSymbolicメソッド上で、一貫性、信頼性、ユーザレベルの説明可能性、安全性がどのように構築されているかを示すCRESTフレームワークを紹介します。
この記事では、CRESTフレームワーク内で選択されたAIシステムとして、Large Language Models(LLM)に焦点を当てる。
- 参考スコア（独自算出の注目度）: 11.933469815219544
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Explainability and Safety engender Trust. These require a model to exhibit
consistency and reliability. To achieve these, it is necessary to use and
analyze data and knowledge with statistical and symbolic AI methods relevant to
the AI application - neither alone will do. Consequently, we argue and seek to
demonstrate that the NeuroSymbolic AI approach is better suited for making AI a
trusted AI system. We present the CREST framework that shows how Consistency,
Reliability, user-level Explainability, and Safety are built on NeuroSymbolic
methods that use data and knowledge to support requirements for critical
applications such as health and well-being. This article focuses on Large
Language Models (LLMs) as the chosen AI system within the CREST framework. LLMs
have garnered substantial attention from researchers due to their versatility
in handling a broad array of natural language processing (NLP) scenarios. For
example, ChatGPT and Google's MedPaLM have emerged as highly promising
platforms for providing information in general and health-related queries,
respectively. Nevertheless, these models remain black boxes despite
incorporating human feedback and instruction-guided tuning. For instance,
ChatGPT can generate unsafe responses despite instituting safety guardrails.
CREST presents a plausible approach harnessing procedural and graph-based
knowledge within a NeuroSymbolic framework to shed light on the challenges
associated with LLMs.
- Abstract（参考訳）: 説明責任と安全への信頼。
これらは一貫性と信頼性を示すモデルを必要とする。
これらを実現するためには、AIアプリケーションに関連する統計的および象徴的なAIメソッドを使用して、データと知識を使用および分析する必要がある。
その結果、我々はNeuroSymbolic AIアプローチがAIを信頼できるAIシステムにするのにより適していることを示す。
我々は、一貫性、信頼性、ユーザレベルの説明可能性、安全性がNeuroSymbolicメソッド上でどのように構築されているかを示すCRESTフレームワークを紹介します。
この記事では、CRESTフレームワーク内で選択されたAIシステムとして、Large Language Models(LLM)に焦点を当てる。
LLMは、幅広い自然言語処理(NLP)シナリオを扱うための汎用性のために、研究者からかなりの注目を集めている。
例えば、ChatGPTとGoogleのMedPaLMは、それぞれ一般的なクエリと健康関連のクエリを提供する、非常に有望なプラットフォームとして登場した。
それでもこれらのモデルは、人間のフィードバックと指導誘導チューニングを取り入れたにもかかわらず、ブラックボックスのままである。
例えば、chatgptはsafe guardrailsを導入しても、安全でない応答を生成できる。
CRESTは、NeuroSymbolicフレームワーク内の手続き的およびグラフベースの知識を活用して、LCMに関連する課題に光を当てることのできるアプローチを提示している。
関連論文リスト
- Can We Trust AI Agents? An Experimental Study Towards Trustworthy LLM-Based Multi-Agent Systems for AI Ethics [10.084913433923566]
本研究では,信頼度向上技術が倫理的AI出力生成に与える影響について検討する。
我々はLLM-BMASのプロトタイプを設計し、エージェントは現実世界の倫理的AI問題に関する構造化された議論を行う。
議論では、バイアス検出、透明性、説明責任、ユーザの同意、コンプライアンス、公正性評価、EU AI Actコンプライアンスといった用語が明らかにされている。
論文 参考訳（メタデータ） (2024-10-25T20:17:59Z) - Neurosymbolic AI approach to Attribution in Large Language Models [5.3454230926797734]
ニューロシンボリックAI(NesyAI)は、ニューラルネットワークの強みと構造化されたシンボリック推論を組み合わせる。
本稿では、NesyAIフレームワークが既存の属性モデルをどのように拡張し、より信頼性が高く、解釈可能で、適応可能なシステムを提供するかを検討する。
論文 参考訳（メタデータ） (2024-09-30T02:20:36Z) - Converging Paradigms: The Synergy of Symbolic and Connectionist AI in LLM-Empowered Autonomous Agents [55.63497537202751]
コネクショニストと象徴的人工知能(AI)の収束を探求する記事
従来、コネクショナリストAIはニューラルネットワークにフォーカスし、シンボリックAIはシンボリック表現とロジックを強調していた。
大型言語モデル(LLM)の最近の進歩は、人間の言語をシンボルとして扱う際のコネクショナリストアーキテクチャの可能性を強調している。
論文 参考訳（メタデータ） (2024-07-11T14:00:53Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Concept-Guided LLM Agents for Human-AI Safety Codesign [6.603483691167379]
ジェネレーティブAIは、安全工学を含むソフトウェア工学においてますます重要になっている。
ソフトウェアシステムの複雑さと安全性を効果的に解決できる、より高度で高度なアプローチを開発することが重要です。
安全解析やヒューマンAI符号設計に大規模言語モデルを活用するための,効率的かつハイブリッドな戦略を提案する。
論文 参考訳（メタデータ） (2024-04-03T11:37:01Z) - Machine Learning Robustness: A Primer [12.426425119438846]
この議論はロバストネスの詳細な定義から始まり、MLモデルが様々な環境条件と予期せぬ環境条件で安定した性能を維持する能力であることを示している。
この章では、データバイアスやモデル複雑性、未特定のMLパイプラインの落とし穴など、堅牢性を阻害する要因について詳しく説明している。
議論は、デバイアスや拡張といったデータ中心のアプローチから始まる、堅牢性を促進するための改善戦略を探求する。
論文 参考訳（メタデータ） (2024-04-01T03:49:42Z) - NeuralSentinel: Safeguarding Neural Network Reliability and
Trustworthiness [0.0]
我々は,AIモデルの信頼性と信頼性を検証するツールであるNeuralSentinel(NS)を提案する。
NSは、モデル決定を理解することによって、専門家以外のスタッフがこの新しいシステムに対する信頼を高めるのに役立つ。
このツールはハッカソンイベントにデプロイされ、皮膚がん画像検出器の信頼性を評価するために使用された。
論文 参考訳（メタデータ） (2024-02-12T09:24:34Z) - The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。
ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。
新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
論文 参考訳（メタデータ） (2024-02-02T20:33:14Z) - Representation Engineering: A Top-Down Approach to AI Transparency [132.0398250233924]
表現工学の新たな領域(RepE)を特定し,特徴付ける
RepEは、神経細胞や回路ではなく、人口レベルの表現を解析の中心に置く。
これらの手法が、広範囲の安全関連問題に対してどのようにトラクションを提供するかを紹介する。
論文 参考訳（メタデータ） (2023-10-02T17:59:07Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳（メタデータ） (2020-11-02T20:04:18Z) - Neuro-symbolic Architectures for Context Understanding [59.899606495602406]
本稿では,データ駆動型アプローチと知識駆動型アプローチの強みを組み合わせたフレームワークとして,ハイブリッドAI手法を提案する。
具体的には、知識ベースを用いて深層ニューラルネットワークの学習過程を導く方法として、ニューロシンボリズムの概念を継承する。
論文 参考訳（メタデータ） (2020-03-09T15:04:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。