論文の概要: SNeL: A Structured Neuro-Symbolic Language for Entity-Based Multimodal Scene Understanding

• arxiv url: http://arxiv.org/abs/2306.06036v1
• Date: Fri, 9 Jun 2023 17:01:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 12:21:28.275895
• Title: SNeL: A Structured Neuro-Symbolic Language for Entity-Based Multimodal Scene Understanding
• Title（参考訳）: SNeL: エンティティベースのマルチモーダルシーン理解のための構造化ニューロシンボリック言語
• Authors: Silvan Ferreira, Allan Martins, Ivanovitch Silva
• Abstract要約: SNeL(Structured Neuro-symbolic Language, 構造化ニューラルシンボリック言語)は,マルチモーダルデータを処理するニューラルネットワークとのニュアンスな相互作用を容易にする汎用的なクエリ言語である。 SNeLの表現的インターフェースは、複雑なクエリの構築、論理演算と算術演算子、コンパレータ、ネストなどをサポートする。 我々の評価は、SNeLが複雑なニューラルネットワークとの相互作用を形作る可能性を示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the evolving landscape of artificial intelligence, multimodal and Neuro-Symbolic paradigms stand at the forefront, with a particular emphasis on the identification and interaction with entities and their relations across diverse modalities. Addressing the need for complex querying and interaction in this context, we introduce SNeL (Structured Neuro-symbolic Language), a versatile query language designed to facilitate nuanced interactions with neural networks processing multimodal data. SNeL's expressive interface enables the construction of intricate queries, supporting logical and arithmetic operators, comparators, nesting, and more. This allows users to target specific entities, specify their properties, and limit results, thereby efficiently extracting information from a scene. By aligning high-level symbolic reasoning with low-level neural processing, SNeL effectively bridges the Neuro-Symbolic divide. The language's versatility extends to a variety of data types, including images, audio, and text, making it a powerful tool for multimodal scene understanding. Our evaluations demonstrate SNeL's potential to reshape the way we interact with complex neural networks, underscoring its efficacy in driving targeted information extraction and facilitating a deeper understanding of the rich semantics encapsulated in multimodal AI models.
• Abstract（参考訳）: 人工知能の進化する展望の中で、マルチモーダルとニューロ・シンボリックのパラダイムは最前線に立ち、エンティティとの識別と相互作用、そして様々なモダリティをまたいだそれらの関係に特に重点を置いている。 この文脈での複雑なクエリやインタラクションの必要性に対処するため、ニューラルネットワークによるマルチモーダルデータ処理のニュアンスなインタラクションを容易にするために設計された多言語クエリ言語であるSNeL(Structured Neuro-symbolic Language)を導入する。 SNeLの表現的インターフェースは、複雑なクエリの構築、論理演算と算術演算子、コンパレータ、ネストなどをサポートする。 これにより、ユーザーは特定のエンティティをターゲットにし、プロパティを特定し、結果を制限し、シーンから効率的に情報を抽出することができる。 高レベルシンボリック推論と低レベルニューラルプロセッシングを整合させることで、snelは神経-シンボリック分割を効果的に橋渡しする。 この言語の汎用性は、画像、音声、テキストを含む様々なデータ型に拡張され、マルチモーダルシーン理解のための強力なツールとなっている。 我々の評価は、SNeLが複雑なニューラルネットワークとのインタラクション方法を再構築し、ターゲットとなる情報抽出を推進し、マルチモーダルAIモデルにカプセル化されたリッチなセマンティクスのより深い理解を促進する効果を実証する。

関連論文リスト

• Neuro-Vision to Language: Enhancing Brain Recording-based Visual Reconstruction and Language Interaction [8.63068449082585]
  非侵襲的な脳記録の復号化は、人間の認知の理解を深める鍵となる。 本研究では,視覚変換器を用いた3次元脳構造と視覚的意味論を統合した。 マルチモーダル大モデル開発を支援するために,fMRI画像関連テキストデータを用いたfMRIデータセットを改良した。
  論文  参考訳（メタデータ） (2024-04-30T10:41:23Z)
• Engineering A Large Language Model From Scratch [0.0]
  AtinukeはTransformerベースのニューラルネットワークで、さまざまな言語タスクのパフォーマンスを最適化する。 特徴を抽出し、複雑なマッピングを学習することで、人間のような言語をエミュレートすることができる。 システムは、解釈可能で堅牢なまま、自然言語タスクの最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-01-30T04:29:48Z)
• Interpretable Multimodal Misinformation Detection with Logic Reasoning [40.851213962307206]
  本稿では,多モーダル誤情報検出のための論理モデルを提案する。 本稿では,意味のある論理節の自動生成と評価を容易にするニューラル表現を用いた記号論理要素のパラメータ化を行う。 3つの公開データセットの結果は、我々のモデルの有効性と汎用性を示している。
  論文  参考訳（メタデータ） (2023-05-10T08:16:36Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer [59.73454783958702]
  本稿では,多くの結合演算子を連結して出力論理式をモデル化するシンボリック推論アーキテクチャを提案する。 特に,このような結合鎖のアンサンブルが'ツリー構造'の1次論理式であるFOETの広い部分集合を表現できることを実証する。 変圧器における多頭部自己保持モジュールは,確率的述語空間における結合作用素の結合境界を実装する特別なニューラル演算子として理解することができる。
  論文  参考訳（メタデータ） (2022-10-06T07:39:58Z)
• Natural Language Descriptions of Deep Visual Features [50.270035018478666]
  オープンエンド,コンポジション,自然言語による記述で自動的にニューロンをラベル付けする手法を提案する。 我々はMILANを用いて、視覚モデルにおける属性、カテゴリ、関係情報を選択的に選択したニューロンの分布と重要性を特徴付ける。 また、これらの特徴を曖昧にすることを目的としたデータセットでトレーニングされたモデルにおいて、人種や性別といった保護されたカテゴリに敏感な、監査用のMILANも使用しています。
  論文  参考訳（メタデータ） (2022-01-26T18:48:02Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Discrete-Valued Neural Communication [85.3675647398994]
  コンポーネント間で伝達される情報を離散表現に制限することは、有益なボトルネックであることを示す。 個人は「猫」が特定の経験に基づいて何であるかについて異なる理解を持っているが、共有された離散トークンは、個人間のコミュニケーションが内部表現の個人差によって切り離されることを可能にする。 我々は、量子化機構をベクトル量子化変分オートコーダから共有符号ブックによる多頭部離散化に拡張し、離散値ニューラル通信に利用する。
  論文  参考訳（メタデータ） (2021-07-06T03:09:25Z)
• Neurosymbolic AI for Situated Language Understanding [13.249453757295083]
  我々は,これらの学習課題に対する解法として,計算位置定位法が有効であると主張している。 我々のモデルは、古典的なAIの考えをニューロシンボリックインテリジェンス(英語版)の枠組みに再組み入れている。 我々は、さまざまなAI学習課題に対して、位置情報が多様なデータと複数のレベルのモデリングを提供する方法について論じる。
  論文  参考訳（メタデータ） (2020-12-05T05:03:28Z)
• Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language [148.0843278195794]
  ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。 本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
  論文  参考訳（メタデータ） (2020-11-18T20:21:19Z)
• Compositional Languages Emerge in a Neural Iterated Learning Model [27.495624644227888]
  構成性により、自然言語はより単純な組み合わせによって複雑な概念を表現することができる。 本稿では,対話型ニューラルエージェントに適用することで,より構造化された言語の出現を促進する効果的なニューラル・イテレーテッド・ラーニング(NIL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-04T15:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。