論文の概要: Unveiling Ontological Commitment in Multi-Modal Foundation Models
- arxiv url: http://arxiv.org/abs/2409.17109v1
- Date: Wed, 25 Sep 2024 17:24:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 02:44:18.302984
- Title: Unveiling Ontological Commitment in Multi-Modal Foundation Models
- Title（参考訳）: マルチモーダル基礎モデルにおけるオントロジーの展開
- Authors: Mert Keser, Gesina Schwalbe, Niki Amini-Naieni, Matthias Rottmann, Alois Knoll,
- Abstract要約: ディープニューラルネットワーク(DNN)は、概念の豊かな表現とそれぞれの推論を自動的に学習する。
そこで本研究では,葉柄概念の集合に対してマルチモーダルDNNから学習したスーパークラス階層を抽出する手法を提案する。
最初の評価研究では、最先端基礎モデルから有意義な存在論的階級階層を抽出できることが示されている。
- 参考スコア（独自算出の注目度）: 7.485653059927206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ontological commitment, i.e., used concepts, relations, and assumptions, are a corner stone of qualitative reasoning (QR) models. The state-of-the-art for processing raw inputs, though, are deep neural networks (DNNs), nowadays often based off from multimodal foundation models. These automatically learn rich representations of concepts and respective reasoning. Unfortunately, the learned qualitative knowledge is opaque, preventing easy inspection, validation, or adaptation against available QR models. So far, it is possible to associate pre-defined concepts with latent representations of DNNs, but extractable relations are mostly limited to semantic similarity. As a next step towards QR for validation and verification of DNNs: Concretely, we propose a method that extracts the learned superclass hierarchy from a multimodal DNN for a given set of leaf concepts. Under the hood we (1) obtain leaf concept embeddings using the DNN's textual input modality; (2) apply hierarchical clustering to them, using that DNNs encode semantic similarities via vector distances; and (3) label the such-obtained parent concepts using search in available ontologies from QR. An initial evaluation study shows that meaningful ontological class hierarchies can be extracted from state-of-the-art foundation models. Furthermore, we demonstrate how to validate and verify a DNN's learned representations against given ontologies. Lastly, we discuss potential future applications in the context of QR.
- Abstract（参考訳）: オントロジー的コミットメント(英: Ontological commitment、すなわち、概念、関係、仮定)は、定性推論(QR)モデルのコーナーストーンである。
しかし、生の入力を処理する最先端技術はディープニューラルネットワーク(DNN)である。
これらは、概念とそれぞれの推論の豊かな表現を自動的に学習する。
残念ながら、学習した質的な知識は不透明で、容易に検査、検証、利用可能なQRモデルへの適応を防ぎます。
これまでのところ、定義済みの概念とDNNの潜在表現を関連付けることは可能であるが、抽出可能な関係は主に意味的類似性に限られている。
DNNの検証と検証のためのQRへの次のステップとして、具体的には、与えられた葉の集合に対してマルチモーダルDNNから学習されたスーパークラス階層を抽出する手法を提案する。
内部では,(1)DNNのテキスト入力モダリティを用いたリーフ概念の埋め込み,(2)DNNがベクトル距離を介して意味的類似性を符号化する階層的クラスタリング,(3)QRから利用可能なオントロジーの探索を用いて,そのような達成された親概念をラベル付けする。
最初の評価研究では、最先端基礎モデルから有意義な存在論的階級階層を抽出できることが示されている。
さらに、与えられたオントロジーに対してDNNが学習した表現を検証し、検証する方法を示す。
最後に、QRの文脈における将来的な応用について論じる。
関連論文リスト
- Reasoning with trees: interpreting CNNs using hierarchies [3.6763102409647526]
畳み込みニューラルネットワーク(CNN)の忠実かつ解釈可能な説明に階層的セグメンテーション技術を用いるフレームワークを導入する。
本手法はモデルの推論忠実性を維持するモデルに基づく階層的セグメンテーションを構築する。
実験により、我々のフレームワークであるxAiTreesが高度に解釈可能で忠実なモデル説明を提供することが示された。
論文 参考訳（メタデータ） (2024-06-19T06:45:19Z) - SimpleMind adds thinking to deep neural networks [3.888848425698769]
ディープニューラルネットワーク(DNN)はデータのパターンを検出し、多くのコンピュータビジョンアプリケーションで汎用性と強力なパフォーマンスを示している。
DNNだけでは、単純で常識的な概念に反する明らかな誤りに陥り、明確な知識を使って探索と意思決定を導く能力に制限がある。
本稿では,医療画像理解に焦点を当てたCognitive AIのためのオープンソースソフトウェアフレームワークであるSimpleMindを紹介する。
論文 参考訳（メタデータ） (2022-12-02T03:38:20Z) - Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。
本稿では,関係データに対するKENNの拡張を提案する。
論文 参考訳（メタデータ） (2022-05-31T13:00:34Z) - Concept Embeddings for Fuzzy Logic Verification of Deep Neural Networks
in Perception Tasks [1.2246649738388387]
我々は、訓練された畳み込みニューラルネットワーク(CNN)が特定の記号的背景知識を尊重するかどうかを検証するための、単純で効果的なアプローチを提案する。
知識はファジィ述語論理則から成り立つ。
このアプローチはファジィ性と概念出力の校正の恩恵を受けていることを示す。
論文 参考訳（メタデータ） (2022-01-03T10:35:47Z) - Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。
我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。
本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
論文 参考訳（メタデータ） (2021-12-15T20:15:01Z) - What Do Deep Nets Learn? Class-wise Patterns Revealed in the Input Space [88.37185513453758]
本研究では,深層ニューラルネットワーク(DNN)が学習するクラスワイズな知識を,異なる環境下で可視化し,理解する手法を提案する。
本手法は,各クラスのモデルが学習した知識を表現するために,画素空間内の1つの予測パターンを探索する。
逆境環境では、逆境に訓練されたモデルはより単純化された形状パターンを学ぶ傾向がある。
論文 参考訳（メタデータ） (2021-01-18T06:38:41Z) - Interpreting Graph Neural Networks for NLP With Differentiable Edge
Masking [63.49779304362376]
グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。
本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。
モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
論文 参考訳（メタデータ） (2020-10-01T17:51:19Z) - Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。
その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文 参考訳（メタデータ） (2020-09-13T21:12:20Z) - TCNN: Triple Convolutional Neural Network Models for Retrieval-based
Question Answering System in E-commerce [6.1786972717541895]
IRベースのモデルの鍵となる解決策は、与えられたクエリの最も類似した知識エントリをQA知識ベースから取得し、それらの知識エントリをセマンティックマッチングモデルで再参照することである。
本稿では、基本的な3つの畳み込みニューラルネットワーク(TCNN)モデルと2つの注意に基づくTCNN(ATCNN)モデルを含むテキストマッチングモデルを用いて、IRベースの電子商取引QAシステムAliMeを改善することを目的とする。
論文 参考訳（メタデータ） (2020-04-23T01:02:15Z) - Causality-aware counterfactual confounding adjustment for feature
representations learned by deep models [14.554818659491644]
因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。
深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
論文 参考訳（メタデータ） (2020-04-20T17:37:36Z) - Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。
NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。
その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
論文 参考訳（メタデータ） (2020-03-30T08:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。