論文の概要: Building Trustworthy NeuroSymbolic AI Systems: Consistency, Reliability,
Explainability, and Safety
- arxiv url: http://arxiv.org/abs/2312.06798v1
- Date: Tue, 5 Dec 2023 06:13:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 14:52:33.122516
- Title: Building Trustworthy NeuroSymbolic AI Systems: Consistency, Reliability,
Explainability, and Safety
- Title(参考訳): 信頼できるニューロシンボリックAIシステムの構築:一貫性、信頼性、説明可能性、安全性
- Authors: Manas Gaur, Amit Sheth
- Abstract要約: 我々は、NeuroSymbolicメソッド上で、一貫性、信頼性、ユーザレベルの説明可能性、安全性がどのように構築されているかを示すCRESTフレームワークを紹介します。
この記事では、CRESTフレームワーク内で選択されたAIシステムとして、Large Language Models(LLM)に焦点を当てる。
- 参考スコア(独自算出の注目度): 11.933469815219544
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Explainability and Safety engender Trust. These require a model to exhibit
consistency and reliability. To achieve these, it is necessary to use and
analyze data and knowledge with statistical and symbolic AI methods relevant to
the AI application - neither alone will do. Consequently, we argue and seek to
demonstrate that the NeuroSymbolic AI approach is better suited for making AI a
trusted AI system. We present the CREST framework that shows how Consistency,
Reliability, user-level Explainability, and Safety are built on NeuroSymbolic
methods that use data and knowledge to support requirements for critical
applications such as health and well-being. This article focuses on Large
Language Models (LLMs) as the chosen AI system within the CREST framework. LLMs
have garnered substantial attention from researchers due to their versatility
in handling a broad array of natural language processing (NLP) scenarios. For
example, ChatGPT and Google's MedPaLM have emerged as highly promising
platforms for providing information in general and health-related queries,
respectively. Nevertheless, these models remain black boxes despite
incorporating human feedback and instruction-guided tuning. For instance,
ChatGPT can generate unsafe responses despite instituting safety guardrails.
CREST presents a plausible approach harnessing procedural and graph-based
knowledge within a NeuroSymbolic framework to shed light on the challenges
associated with LLMs.
- Abstract(参考訳): 説明責任と安全への信頼。
これらは一貫性と信頼性を示すモデルを必要とする。
これらを実現するためには、AIアプリケーションに関連する統計的および象徴的なAIメソッドを使用して、データと知識を使用および分析する必要がある。
その結果、我々はNeuroSymbolic AIアプローチがAIを信頼できるAIシステムにするのにより適していることを示す。
我々は、一貫性、信頼性、ユーザレベルの説明可能性、安全性がNeuroSymbolicメソッド上でどのように構築されているかを示すCRESTフレームワークを紹介します。
この記事では、CRESTフレームワーク内で選択されたAIシステムとして、Large Language Models(LLM)に焦点を当てる。
LLMは、幅広い自然言語処理(NLP)シナリオを扱うための汎用性のために、研究者からかなりの注目を集めている。
例えば、ChatGPTとGoogleのMedPaLMは、それぞれ一般的なクエリと健康関連のクエリを提供する、非常に有望なプラットフォームとして登場した。
それでもこれらのモデルは、人間のフィードバックと指導誘導チューニングを取り入れたにもかかわらず、ブラックボックスのままである。
例えば、chatgptはsafe guardrailsを導入しても、安全でない応答を生成できる。
CRESTは、NeuroSymbolicフレームワーク内の手続き的およびグラフベースの知識を活用して、LCMに関連する課題に光を当てることのできるアプローチを提示している。
関連論文リスト
- NeuralSentinel: Safeguarding Neural Network Reliability and
Trustworthiness [0.0]
我々は,AIモデルの信頼性と信頼性を検証するツールであるNeuralSentinel(NS)を提案する。
NSは、モデル決定を理解することによって、専門家以外のスタッフがこの新しいシステムに対する信頼を高めるのに役立つ。
このツールはハッカソンイベントにデプロイされ、皮膚がん画像検出器の信頼性を評価するために使用された。
論文 参考訳(メタデータ) (2024-02-12T09:24:34Z) - The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。
ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。
新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
論文 参考訳(メタデータ) (2024-02-02T20:33:14Z) - Representation Engineering: A Top-Down Approach to AI Transparency [132.0398250233924]
表現工学の新たな領域(RepE)を特定し,特徴付ける
RepEは、神経細胞や回路ではなく、人口レベルの表現を解析の中心に置く。
これらの手法が、広範囲の安全関連問題に対してどのようにトラクションを提供するかを紹介する。
論文 参考訳(メタデータ) (2023-10-02T17:59:07Z) - Requirements for Explainability and Acceptance of Artificial
Intelligence in Collaborative Work [0.0]
本稿では,AIの説明可能性と受容の要件について考察する。
その結果,2つの主要なグループが,モデルの内部操作に関する情報を必要とする開発者であることが示唆された。
AIシステムの受容は、システムの機能や性能、プライバシ、倫理的考慮事項に関する情報に依存する。
論文 参考訳(メタデータ) (2023-06-27T11:36:07Z) - Principle-Driven Self-Alignment of Language Models from Scratch with
Minimal Human Supervision [84.31474052176343]
ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。
この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。
本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-05-04T17:59:28Z) - Statistical Perspectives on Reliability of Artificial Intelligence
Systems [6.284088451820049]
AIシステムの信頼性に関する統計的視点を提供する。
本稿では,AI信頼性研究のためのSMART統計フレームワークを提案する。
我々は、AI信頼性のモデリングと分析における最近の発展について論じる。
論文 参考訳(メタデータ) (2021-11-09T20:00:14Z) - The Role of Explainability in Assuring Safety of Machine Learning in
Healthcare [9.462125772941347]
本稿では、MLベースのシステムの安全性保証に説明可能なAI手法が寄与する方法について述べる。
結果は安全引数として表現され、どのようにして説明可能なAIメソッドが安全ケースに寄与できるかを示す。
論文 参考訳(メタデータ) (2021-09-01T09:32:14Z) - Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。
現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。
本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
論文 参考訳(メタデータ) (2021-06-14T20:48:48Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳(メタデータ) (2020-11-02T20:04:18Z) - The role of explainability in creating trustworthy artificial
intelligence for health care: a comprehensive survey of the terminology,
design choices, and evaluation strategies [1.2762298148425795]
透明性の欠如は、医療におけるAIシステムの実装における主要な障壁の1つとして認識されている。
我々は最近の文献をレビューし、説明可能なAIシステムの設計について研究者や実践者にガイダンスを提供する。
我々は、説明可能なモデリングが信頼できるAIに貢献できると結論づけるが、説明可能性の利点は実際に証明する必要がある。
論文 参考訳(メタデータ) (2020-07-31T09:08:27Z) - Neuro-symbolic Architectures for Context Understanding [59.899606495602406]
本稿では,データ駆動型アプローチと知識駆動型アプローチの強みを組み合わせたフレームワークとして,ハイブリッドAI手法を提案する。
具体的には、知識ベースを用いて深層ニューラルネットワークの学習過程を導く方法として、ニューロシンボリズムの概念を継承する。
論文 参考訳(メタデータ) (2020-03-09T15:04:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。