論文の概要: Neuro-Symbolic Contrastive Learning for Cross-domain Inference
- arxiv url: http://arxiv.org/abs/2502.09213v1
- Date: Thu, 13 Feb 2025 11:48:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-14 13:50:10.356624
- Title: Neuro-Symbolic Contrastive Learning for Cross-domain Inference
- Title（参考訳）: クロスドメイン推論のためのニューロシンボリックコントラスト学習
- Authors: Mingyue Liu, Ryo Ueda, Zhen Wan, Katsumi Inoue, Chris G. Willcocks,
- Abstract要約: 帰納的論理プログラミング(ILP)は、多種多様でスパースで限られたデータセットにまたがる論理的関係の推論に優れています。
本稿では,ニューロシンボリック・コントラスト学習という2つのアプローチの橋渡しについて述べる。
- 参考スコア（独自算出の注目度）: 13.649270716741535
- License:
- Abstract: Pre-trained language models (PLMs) have made significant advances in natural language inference (NLI) tasks, however their sensitivity to textual perturbations and dependence on large datasets indicate an over-reliance on shallow heuristics. In contrast, inductive logic programming (ILP) excels at inferring logical relationships across diverse, sparse and limited datasets, but its discrete nature requires the inputs to be precisely specified, which limits their application. This paper proposes a bridge between the two approaches: neuro-symbolic contrastive learning. This allows for smooth and differentiable optimisation that improves logical accuracy across an otherwise discrete, noisy, and sparse topological space of logical functions. We show that abstract logical relationships can be effectively embedded within a neuro-symbolic paradigm, by representing data as logic programs and sets of logic rules. The embedding space captures highly varied textual information with similar semantic logical relations, but can also separate similar textual relations that have dissimilar logical relations. Experimental results demonstrate that our approach significantly improves the inference capabilities of the models in terms of generalisation and reasoning.
- Abstract（参考訳）: 事前学習された言語モデル(PLM)は、自然言語推論(NLI)タスクにおいて大きな進歩を遂げているが、テキストの摂動に対する感受性と大きなデータセットへの依存は、浅いヒューリスティックスへの過度な依存を示している。
対照的に、インダクティブ論理プログラミング(ILP)は、多種多様でスパースで制限されたデータセットにまたがる論理的関係の推論に優れるが、その離散性は入力を正確に指定し、アプリケーションを制限する必要がある。
本稿では,ニューロシンボリック・コントラスト学習という2つのアプローチの橋渡しについて述べる。
これによりスムーズで微分可能な最適化が可能となり、それ以外は離散的でノイズの多い、よりスパースな位相空間の論理的精度が向上する。
本稿では,論理プログラムや論理規則の集合としてデータを表現することによって,抽象論理関係をニューロシンボリックパラダイムに効果的に組み込むことができることを示す。
埋め込み空間は、類似した意味論理関係を持つ非常に多様なテキスト情報をキャプチャするが、類似した論理関係を持つ類似のテキスト関係を分離することもできる。
実験結果から,本手法は一般化と推論の観点からモデルの推論能力を大幅に向上することが示された。
関連論文リスト
- Three Pathways to Neurosymbolic Reinforcement Learning with
Interpretable Model and Policy Networks [4.242435932138821]
我々は、解釈可能なセマンティクスをアーキテクチャに直接組み込むニューラルネットワークのクラスについて研究する。
我々は、論理、シミュレーション、学習を組み合わせることの潜在的な難しさと重要な難しさを明らかにし、強調する。
論文 参考訳（メタデータ） (2024-02-07T23:00:24Z) - LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and
Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。
ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。
これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文 参考訳（メタデータ） (2023-09-24T05:43:19Z) - Modeling Hierarchical Reasoning Chains by Linking Discourse Units and
Key Phrases for Reading Comprehension [80.99865844249106]
本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。
具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
論文 参考訳（メタデータ） (2023-06-21T07:34:27Z) - Discourse-Aware Graph Networks for Textual Logical Reasoning [142.0097357999134]
パッセージレベルの論理関係は命題単位間の係り合いまたは矛盾を表す(例、結論文)
論理的推論QAを解くための論理構造制約モデリングを提案し、談話対応グラフネットワーク(DAGN)を導入する。
ネットワークはまず、インラインの談話接続とジェネリック論理理論を利用した論理グラフを構築し、その後、エッジ推論機構を用いて論理関係を進化させ、グラフ機能を更新することで論理表現を学習する。
論文 参考訳（メタデータ） (2022-07-04T14:38:49Z) - LogiGAN: Learning Logical Reasoning via Adversarial Pre-training [58.11043285534766]
本稿では,言語モデルの論理的推論能力を向上させるために,教師なしの対人事前学習フレームワークLogiGANを提案する。
人間の学習におけるリフレクティブ思考の促進効果に着想を得て,逆生成検証アーキテクチャを用いて学習思考過程をシミュレートする。
LogiGANで事前トレーニングされたベースモデルと大規模言語モデルの両方で、12のデータセットで明らかなパフォーマンス改善が示されている。
論文 参考訳（メタデータ） (2022-05-18T08:46:49Z) - Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。
他のものと比較して、LNNは古典的なブール論理と強く結びついている。
標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
論文 参考訳（メタデータ） (2021-12-06T19:38:30Z) - Logical Neural Networks [51.46602187496816]
ニューラルネットワーク(学習)と記号論理(知識と推論)の両方の重要な特性をシームレスに提供する新しいフレームワークを提案する。
すべてのニューロンは、重み付けされた実数値論理における公式の構成要素としての意味を持ち、非常に解釈不能な非絡み合い表現をもたらす。
推論は事前に定義されたターゲット変数ではなく、オムニであり、論理的推論に対応する。
論文 参考訳（メタデータ） (2020-06-23T16:55:45Z) - Neural Collaborative Reasoning [31.03627817834551]
協調推論(CR)のための協調フィルタリング(CF)を提案する。
CRは、各ユーザが推論空間の一部を知っていて、互いに好みを見積もるために、スペース内で推論するために協力することを意味します。
我々は、表現学習と論理的推論の力を統合し、表現が知覚的視点からデータ内の類似パターンをキャプチャする。
論文 参考訳（メタデータ） (2020-05-16T23:29:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。