論文の概要: A Differentiable Integer Linear Programming Solver for Explanation-Based Natural Language Inference
- arxiv url: http://arxiv.org/abs/2404.02625v1
- Date: Wed, 3 Apr 2024 10:29:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 17:40:49.855713
- Title: A Differentiable Integer Linear Programming Solver for Explanation-Based Natural Language Inference
- Title（参考訳）: 説明に基づく自然言語推論のための微分型整数線形計画法
- Authors: Mokanarangan Thayaparan, Marco Valentino, André Freitas,
- Abstract要約: 我々は、説明に基づく自然言語推論(NLI)のためのニューロシンボリックアーキテクチャであるDiff-Comb Explainerを紹介する。
Diff-Comb Explainerは、意味的制約の連続的な緩和を必要とせず、直接的でより正確で効率的な神経表現をILPの定式化に組み込むことができる。
Diff-Comb Explainer は従来の ILP ソルバ, ニューロシンボリックブラックボックスソルバ, トランスフォーマーベースのエンコーダと比較して優れた性能を示した。
- 参考スコア（独自算出の注目度）: 17.467900115986158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Integer Linear Programming (ILP) has been proposed as a formalism for encoding precise structural and semantic constraints for Natural Language Inference (NLI). However, traditional ILP frameworks are non-differentiable, posing critical challenges for the integration of continuous language representations based on deep learning. In this paper, we introduce a novel approach, named Diff-Comb Explainer, a neuro-symbolic architecture for explanation-based NLI based on Differentiable BlackBox Combinatorial Solvers (DBCS). Differently from existing neuro-symbolic solvers, Diff-Comb Explainer does not necessitate a continuous relaxation of the semantic constraints, enabling a direct, more precise, and efficient incorporation of neural representations into the ILP formulation. Our experiments demonstrate that Diff-Comb Explainer achieves superior performance when compared to conventional ILP solvers, neuro-symbolic black-box solvers, and Transformer-based encoders. Moreover, a deeper analysis reveals that Diff-Comb Explainer can significantly improve the precision, consistency, and faithfulness of the constructed explanations, opening new opportunities for research on neuro-symbolic architectures for explainable and transparent NLI in complex domains.
- Abstract（参考訳）: Integer Linear Programming (ILP) は、自然言語推論(NLI)の正確な構造的および意味的制約を符号化する形式として提案されている。
しかし、従来のILPフレームワークは差別化不可能であり、ディープラーニングに基づいた継続的言語表現の統合において重要な課題を提起している。
本稿では,Diff-Comb Explainerという新しいアプローチを導入する。これは,差分式BlackBox Combinatorial Solvers(DBCS)に基づく,説明に基づくNLIのためのニューラルシンボリックアーキテクチャである。
既存のニューロシンボリックな解法とは異なり、Diff-Comb Explainerは意味的制約の連続的な緩和を必要とせず、直接的でより正確で効率的な神経表現をILPの定式化に組み込むことができる。
Diff-Comb Explainer は従来の ILP ソルバ, ニューロシンボリックブラックボックスソルバ, トランスフォーマーベースのエンコーダと比較して優れた性能を示した。
さらに、より深い分析により、Diff-Comb Explainerは、構築された説明の正確性、一貫性、忠実性を著しく改善し、複雑なドメインにおける説明可能かつ透明なNLIのためのニューロシンボリックアーキテクチャの研究の新たな機会を開くことができることが明らかになった。
関連論文リスト
- GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。
本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
論文 参考訳（メタデータ） (2024-10-11T03:05:06Z) - DeepDFA: Automata Learning through Neural Probabilistic Relaxations [2.3326951882644553]
本稿では,決定論的有限オートマタ(DFA)をトレースから識別する新しい手法であるDeepDFAを紹介する。
DFAとリカレントニューラルネットワーク(RNN)の確率的緩和にインスパイアされた当社のモデルは、複雑性の低減とトレーニング効率の向上とともに、トレーニング後の解釈可能性を提供する。
論文 参考訳（メタデータ） (2024-08-16T09:30:36Z) - Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic [51.967603572656266]
我々は,分解包含を注釈付けするための一貫した理論的なアプローチを導入する。
我々の新しいデータセットRDTEは、前回の分解エンターメントデータセットよりもかなり高い内部整合性(+9%)を持つことがわかった。
また,RDTE による知識蒸留によるエンテーメント分類器の訓練や,エンテーメントツリー推論エンジンへの導入により,精度と検証精度が向上することが確認された。
論文 参考訳（メタデータ） (2024-02-22T18:55:17Z) - Enhancing Ethical Explanations of Large Language Models through
Iterative Symbolic Refinement [5.108863224378874]
本稿では,ハイブリッド・ニューロシンボリック・テクニックが倫理的説明の論理的妥当性とアライメントをいかに向上させるかを検討する。
本稿では,大規模言語モデルと外部の後方鎖型ソルバを統合した導出型フレームワーク Logic-Explainer を提案する。
経験的分析により、Logic-Explainerは、コンテキスト内学習法とChain-of-Thoughtを通じて生成された説明を改善することができることを示した。
論文 参考訳（メタデータ） (2024-02-01T16:39:51Z) - Mastering Symbolic Operations: Augmenting Language Models with Compiled
Neural Networks [48.14324895100478]
ニューラルアーキテクチャ」は、コンパイルされたニューラルネットワーク(CoNN)を標準変換器に統合する。
CoNNは、人工的に生成された注意重みを通してルールを明示的にエンコードするように設計されたニューラルネットワークモジュールである。
実験は,シンボル操作における長さ一般化,効率,解釈可能性の観点から,既存の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-04-04T09:50:07Z) - Equivariant Transduction through Invariant Alignment [71.45263447328374]
グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。
我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。
また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
論文 参考訳（メタデータ） (2022-09-22T11:19:45Z) - Going Beyond Approximation: Encoding Constraints for Explainable
Multi-hop Inference via Differentiable Combinatorial Solvers [4.726777092009554]
線形プログラミング(ILP)は、自然言語による説明可能なマルチホップ推論について、明示的で制御可能な仮定を符号化する実行可能なメカニズムを提供する。
ILPの定式化は微分不可能であり、より広範なディープラーニングアーキテクチャに統合することはできない。
Diff-Comb Explainerは、微分不可能なソルバ、トランスフォーマー、および既存の微分可能制約ベースのマルチホップ推論フレームワークの精度と説明性を改善する。
論文 参考訳（メタデータ） (2022-08-05T18:07:53Z) - Adaptive Discrete Communication Bottlenecks with Dynamic Vector
Quantization [76.68866368409216]
入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。
コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-02-02T23:54:26Z) - $\partial$-Explainer: Abductive Natural Language Inference via
Differentiable Convex Optimization [2.624902795082451]
本稿では,Deep Neural Networkの一部として制約付き最適化をキャストすることにより,両世界の長所を組み合わせた$partial$-Explainer(Diff-Explainer)という新しいフレームワークを提案する。
我々の実験は、その推論をサポートするための説明を提供しながら、非微分型解法よりも約10%高い改善率を示しました。
論文 参考訳（メタデータ） (2021-05-07T17:49:19Z) - Beyond Graph Neural Networks with Lifted Relational Neural Networks [14.63152363481139]
我々は,Lfted Neural Networks の言語に基づく宣言型微分可能プログラミングフレームワークを実演する。
小さなパラメータ化プログラムは学習を符号化するために使用される。
このアイデアは、様々な高度なニューラルネットワークの効率的な符号化にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2020-07-13T10:10:58Z) - Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。
提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。
新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
論文 参考訳（メタデータ） (2020-04-22T06:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。