論文の概要: Enhancing multimodal analogical reasoning with Logic Augmented Generation
- arxiv url: http://arxiv.org/abs/2504.11190v1
- Date: Tue, 15 Apr 2025 13:47:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-16 22:11:51.922279
- Title: Enhancing multimodal analogical reasoning with Logic Augmented Generation
- Title（参考訳）: Logic Augmented Generationによるマルチモーダルアナログ推論の強化
- Authors: Anna Sofia Lippolis, Andrea Giovanni Nuzzolese, Aldo Gangemi,
- Abstract要約: 本稿では,意味知識グラフを通じてテキストの明示的表現を利用する論理拡張生成(LAG)フレームワークを適用する。
本手法では,暗黙的な意味を表す拡張知識グラフを3つ生成し,ドメインに関わらず,ラベルのないマルチモーダルデータを推論する。
その結果、この統合されたアプローチは現在のベースラインを超え、視覚的メタファーを理解する上で人間よりも優れた性能を示し、より説明可能な推論プロセスを可能にした。
- 参考スコア（独自算出の注目度）: 1.3654846342364308
- License:
- Abstract: Recent advances in Large Language Models have demonstrated their capabilities across a variety of tasks. However, automatically extracting implicit knowledge from natural language remains a significant challenge, as machines lack active experience with the physical world. Given this scenario, semantic knowledge graphs can serve as conceptual spaces that guide the automated text generation reasoning process to achieve more efficient and explainable results. In this paper, we apply a logic-augmented generation (LAG) framework that leverages the explicit representation of a text through a semantic knowledge graph and applies it in combination with prompt heuristics to elicit implicit analogical connections. This method generates extended knowledge graph triples representing implicit meaning, enabling systems to reason on unlabeled multimodal data regardless of the domain. We validate our work through three metaphor detection and understanding tasks across four datasets, as they require deep analogical reasoning capabilities. The results show that this integrated approach surpasses current baselines, performs better than humans in understanding visual metaphors, and enables more explainable reasoning processes, though still has inherent limitations in metaphor understanding, especially for domain-specific metaphors. Furthermore, we propose a thorough error analysis, discussing issues with metaphorical annotations and current evaluation methods.
- Abstract（参考訳）: 大規模言語モデルの最近の進歩は、様々なタスクにまたがってその能力を実証している。
しかし、機械は物理世界の積極的経験を欠いているため、自然言語から暗黙の知識を自動的に抽出することは大きな課題である。
このシナリオを考えると、セマンティックナレッジグラフは、自動化されたテキスト生成推論プロセスを導く概念空間として機能し、より効率的で説明可能な結果が得られる。
本稿では,意味知識グラフを通じてテキストの明示的表現を活用する論理拡張生成(LAG)フレームワークを適用し,暗黙的な類似関係を引き出すために,素早いヒューリスティックスと組み合わせて適用する。
本手法では,暗黙的な意味を表す拡張知識グラフを3つ生成し,ドメインに関わらず,ラベルのないマルチモーダルデータを推論する。
我々は4つのデータセットにまたがる3つのメタファ検出と理解タスクを通じて、我々の作業を検証する。
その結果、この統合されたアプローチは現在のベースラインを超え、視覚的メタファーを理解する上で人間よりも優れており、より説明可能な推論プロセスを可能にしている。
さらに,メタファ的アノテーションと現在の評価手法の問題点を議論する,徹底的なエラー解析を提案する。
関連論文リスト
- NAVER: A Neuro-Symbolic Compositional Automaton for Visual Grounding with Explicit Logic Reasoning [22.60247555240363]
本稿では,人間の認知のような推論を必要とする手法の課題について考察する。
本研究では,明示的な確率論的論理推論を統合する構成的視覚的接地手法であるNAVERを提案する。
その結果、NAVERは最近のエンドツーエンドや構成ベースラインと比較して SoTA の性能が向上していることがわかった。
論文 参考訳（メタデータ） (2025-02-01T09:19:08Z) - Neural-Symbolic Reasoning over Knowledge Graphs: A Survey from a Query Perspective [55.79507207292647]
知識グラフ推論は、データマイニング、人工知能、Web、社会科学など、さまざまな分野において重要である。
ニューラルAIの台頭は、深層学習の頑健さと象徴的推論の精度を融合させることで、大きな進歩を見せている。
大規模言語モデル(LLM)の出現により、知識グラフ推論の新しいフロンティアが開かれた。
論文 参考訳（メタデータ） (2024-11-30T18:54:08Z) - Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。
両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。
我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文 参考訳（メタデータ） (2024-05-10T17:11:31Z) - LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and
Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。
ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。
これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文 参考訳（メタデータ） (2023-09-24T05:43:19Z) - CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation [25.56539617837482]
コンテキスト対応グラフアテンションモデル(Context-aware GAT)を提案する。
これは、コンテキスト強化された知識集約機構を通じて、関連する知識グラフからグローバルな特徴を同化する。
実験により,本フレームワークは従来のGNNベース言語モデルよりも性能が優れていることが示された。
論文 参考訳（メタデータ） (2023-05-10T16:31:35Z) - Interpretable Multimodal Misinformation Detection with Logic Reasoning [40.851213962307206]
本稿では,多モーダル誤情報検出のための論理モデルを提案する。
本稿では,意味のある論理節の自動生成と評価を容易にするニューラル表現を用いた記号論理要素のパラメータ化を行う。
3つの公開データセットの結果は、我々のモデルの有効性と汎用性を示している。
論文 参考訳（メタデータ） (2023-05-10T08:16:36Z) - Saliency Map Verbalization: Comparing Feature Importance Representations
from Model-free and Instruction-based Methods [6.018950511093273]
サージェンシマップは、重要な入力特徴を特定することによって、ニューラルネットワークの予測を説明することができる。
我々は,サリエンシマップを自然言語に翻訳する未調査課題を定式化する。
本研究では,従来の特徴強調表現と比較した2つの新手法(検索ベースおよび命令ベース言語化)を比較した。
論文 参考訳（メタデータ） (2022-10-13T17:48:15Z) - Emergence of Machine Language: Towards Symbolic Intelligence with Neural
Networks [73.94290462239061]
本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。
対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
論文 参考訳（メタデータ） (2022-01-14T14:54:58Z) - Language Generation with Multi-Hop Reasoning on Commonsense Knowledge
Graph [124.45799297285083]
知識グラフの構造的情報と意味的情報の両方を活用することで、コモンセンスを意識したテキスト生成が促進されると主張している。
本稿では,外部コモンセンス知識グラフから抽出したマルチリレーショナルパスに基づいて,動的マルチホップ推論を用いた事前学習モデルを実現するマルチホップ推論フロー(GRF)の生成を提案する。
論文 参考訳（メタデータ） (2020-09-24T13:55:32Z) - Improving Machine Reading Comprehension with Contextualized Commonsense
Knowledge [62.46091695615262]
我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。
構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。
我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
論文 参考訳（メタデータ） (2020-09-12T17:20:01Z) - Explanations of Black-Box Model Predictions by Contextual Importance and
Utility [1.7188280334580195]
本稿では,初級者だけでなく専門家が容易に理解できる説明を抽出するために,文脈重要度(CI)と文脈実用性(CU)の概念を提案する。
本手法は,モデルを解釈可能なモデルに変換することなく予測結果を説明する。
カーセレクションの例とアイリスの花分類における説明の有用性を,完全な(つまり,個人の予測の原因)と対照的な説明を提示することによって示す。
論文 参考訳（メタデータ） (2020-05-30T06:49:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。