論文の概要: $\partial$-Explainer: Abductive Natural Language Inference via Differentiable Convex Optimization

• arxiv url: http://arxiv.org/abs/2105.03417v1
• Date: Fri, 7 May 2021 17:49:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-10 12:29:47.396313
• Title: $\partial$-Explainer: Abductive Natural Language Inference via Differentiable Convex Optimization
• Title（参考訳）: $\partial$-Explainer:微分凸最適化による帰納的自然言語推論
• Authors: Mokanarangan Thayaparan, Marco Valentino, Deborah Ferreira, Julia Rozanova, Andr\'e Freitas
• Abstract要約: 本稿では,Deep Neural Networkの一部として制約付き最適化をキャストすることにより,両世界の長所を組み合わせた$partial$-Explainer(Diff-Explainer)という新しいフレームワークを提案する。 我々の実験は、その推論をサポートするための説明を提供しながら、非微分型解法よりも約10%高い改善率を示しました。
• 参考スコア（独自算出の注目度）: 2.624902795082451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constrained optimization solvers with Integer Linear programming (ILP) have been the cornerstone for explainable natural language inference during its inception. ILP based approaches provide a way to encode explicit and controllable assumptions casting natural language inference as an abductive reasoning problem, where the solver constructs a plausible explanation for a given hypothesis. While constrained based solvers provide explanations, they are often limited by the use of explicit constraints and cannot be integrated as part of broader deep neural architectures. In contrast, state-of-the-art transformer-based models can learn from data and implicitly encode complex constraints. However, these models are intrinsically black boxes. This paper presents a novel framework named $\partial$-Explainer (Diff-Explainer) that combines the best of both worlds by casting the constrained optimization as part of a deep neural network via differentiable convex optimization and fine-tuning pre-trained transformers for downstream explainable NLP tasks. To demonstrate the efficacy of the framework, we transform the constraints presented by TupleILP and integrate them with sentence embedding transformers for the task of explainable science QA. Our experiments show up to $\approx 10\%$ improvement over non-differentiable solver while still providing explanations for supporting its inference.
• Abstract（参考訳）: Integer Linear Programming (ILP)による制約付き最適化解法は、その開始時から説明可能な自然言語推論の基盤となっている。 ILPベースのアプローチは、自然言語推論を推論する明示的で制御可能な仮定を帰納的推論問題としてエンコードする方法を提供する。 制約ベースのソルバは説明を提供するが、しばしば明示的な制約の使用によって制限され、より広いディープニューラルネットワークアーキテクチャの一部として統合することはできない。 対照的に、最先端のトランスフォーマーベースのモデルはデータから学び、複雑な制約を暗黙的にエンコードすることができる。 しかし、これらのモデルは本質的にブラックボックスである。 本稿では,異なる凸最適化と,下流で説明可能なNLPタスクのための微調整済み変換器を通じて,深いニューラルネットワークの一部として制約付き最適化をキャストすることにより,両世界の長所を結合する,$\partial$-Explainer(Diff-Explainer)という新しいフレームワークを提案する。 本フレームワークの有効性を示すために,TupleILPが提示する制約を変換し,説明可能な科学QAのための文埋め込み変換器と統合する。 我々の実験は、その推論をサポートするための説明を提供しながら、非微分型解法よりも約10対%改善しました。

関連論文リスト

• CF-OPT: Counterfactual Explanations for Structured Prediction [47.36059095502583]
  ディープニューラルネットワークの最適化レイヤは構造化学習で人気を博し、さまざまなアプリケーションにおける最先端技術の改善に寄与している。 しかし、これらのパイプラインは2つの不透明な層(ディープニューラルネットワークのような非常に非線形な予測モデル)と、通常複雑なブラックボックス解決器である最適化層)で構成されているため、解釈性に欠ける。 我々のゴールは、このような手法の透明性を向上させることであり、対実的な説明を提供することである。
  論文  参考訳（メタデータ） (2024-05-28T15:48:27Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• A Differentiable Integer Linear Programming Solver for Explanation-Based Natural Language Inference [17.467900115986158]
  我々は、説明に基づく自然言語推論(NLI)のためのニューロシンボリックアーキテクチャであるDiff-Comb Explainerを紹介する。 Diff-Comb Explainerは、意味的制約の連続的な緩和を必要とせず、直接的でより正確で効率的な神経表現をILPの定式化に組み込むことができる。 Diff-Comb Explainer は従来の ILP ソルバ, ニューロシンボリックブラックボックスソルバ, トランスフォーマーベースのエンコーダと比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-04-03T10:29:06Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Going Beyond Approximation: Encoding Constraints for Explainable Multi-hop Inference via Differentiable Combinatorial Solvers [4.726777092009554]
  線形プログラミング(ILP)は、自然言語による説明可能なマルチホップ推論について、明示的で制御可能な仮定を符号化する実行可能なメカニズムを提供する。 ILPの定式化は微分不可能であり、より広範なディープラーニングアーキテクチャに統合することはできない。 Diff-Comb Explainerは、微分不可能なソルバ、トランスフォーマー、および既存の微分可能制約ベースのマルチホップ推論フレームワークの精度と説明性を改善する。
  論文  参考訳（メタデータ） (2022-08-05T18:07:53Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Hybrid Autoregressive Solver for Scalable Abductive Natural Language Inference [2.867517731896504]
  本稿では,高密度バイエンコーダと説明力のスパースモデルとを自己回帰的に結合するハイブリッド誘導型解法を提案する。 提案するフレームワークは,最先端のクロスエンコーダに匹敵する性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-07-25T19:29:53Z)
• Causality-based Counterfactual Explanation for Classification Models [11.108866104714627]
  本稿では,プロトタイプに基づく対実的説明フレームワーク(ProCE)を提案する。 ProCEは、カウンターファクトデータの特徴の根底にある因果関係を保存することができる。 さらに,提案手法を応用した多目的遺伝的アルゴリズムを考案した。
  論文  参考訳（メタデータ） (2021-05-03T09:25:59Z)
• SML: a new Semantic Embedding Alignment Transformer for efficient cross-lingual Natural Language Inference [71.57324258813674]
  トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。 nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。 本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
  論文  参考訳（メタデータ） (2021-03-17T13:23:53Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。