論文の概要: Going Beyond Approximation: Encoding Constraints for Explainable
Multi-hop Inference via Differentiable Combinatorial Solvers
- arxiv url: http://arxiv.org/abs/2208.03339v1
- Date: Fri, 5 Aug 2022 18:07:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 12:23:46.477128
- Title: Going Beyond Approximation: Encoding Constraints for Explainable
Multi-hop Inference via Differentiable Combinatorial Solvers
- Title（参考訳）: 近似を超えて行く:微分可能な組合せソルバによる説明可能な多重ホップ推論のための制約の符号化
- Authors: Mokanarangan Thayaparan, Marco Valentino, Andr\'e Freitas
- Abstract要約: 線形プログラミング(ILP)は、自然言語による説明可能なマルチホップ推論について、明示的で制御可能な仮定を符号化する実行可能なメカニズムを提供する。
ILPの定式化は微分不可能であり、より広範なディープラーニングアーキテクチャに統合することはできない。
Diff-Comb Explainerは、微分不可能なソルバ、トランスフォーマー、および既存の微分可能制約ベースのマルチホップ推論フレームワークの精度と説明性を改善する。
- 参考スコア（独自算出の注目度）: 4.726777092009554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Integer Linear Programming (ILP) provides a viable mechanism to encode
explicit and controllable assumptions about explainable multi-hop inference
with natural language. However, an ILP formulation is non-differentiable and
cannot be integrated into broader deep learning architectures. Recently,
Thayaparan et al. (2021a) proposed a novel methodology to integrate ILP with
Transformers to achieve end-to-end differentiability for complex multi-hop
inference. While this hybrid framework has been demonstrated to deliver better
answer and explanation selection than transformer-based and existing ILP
solvers, the neuro-symbolic integration still relies on a convex relaxation of
the ILP formulation, which can produce sub-optimal solutions. To improve these
limitations, we propose Diff-Comb Explainer, a novel neuro-symbolic
architecture based on Differentiable BlackBox Combinatorial solvers (DBCS)
(Pogan\v{c}i\'c et al., 2019). Unlike existing differentiable solvers, the
presented model does not require the transformation and relaxation of the
explicit semantic constraints, allowing for direct and more efficient
integration of ILP formulations. Diff-Comb Explainer demonstrates improved
accuracy and explainability over non-differentiable solvers, Transformers and
existing differentiable constraint-based multi-hop inference frameworks.
- Abstract（参考訳）: 整数線形プログラミング(ilp)は、自然言語で説明可能なマルチホップ推論に関する明示的で制御可能な仮定を符号化する実行可能なメカニズムを提供する。
しかし、ILPの定式化は微分不可能であり、より広範なディープラーニングアーキテクチャに統合することはできない。
近年、Tayaparan et al. (2021a) は、複雑なマルチホップ推論のためのエンドツーエンドの微分性を達成するために、ILPとトランスフォーマーを統合する新しい手法を提案した。
このハイブリッドフレームワークは、トランスフォーマーベースや既存のILP解法よりも優れた解法と説明の選択をもたらすことが実証されているが、ニューロシンボリック統合は依然として、サブ最適解を生み出すことができるILP定式化の凸緩和に依存している。
これらの制限を改善するために、Diff-Comb Explainerを提案する。これは、微分可能なBlackBox Combinatorial solvers(DBCS)に基づく新しいニューロシンボリックアーキテクチャである(Pogan\v{c}i\'c et al., 2019)。
既存の微分可能解法とは異なり、提示されたモデルは明示的な意味的制約の変換と緩和を必要とせず、直接的で効率的なILP定式化の統合を可能にする。
Diff-Comb Explainerは、微分不可能なソルバ、トランスフォーマー、および既存の微分可能制約ベースのマルチホップ推論フレームワークの精度と説明性を改善する。
関連論文リスト
- Differentiation Through Black-Box Quadratic Programming Solvers [16.543673072027136]
我々は,任意の2次プログラミング(QP)ソルバに対して,プラグアンドプレイの微分を可能にするモジュール型フレームワークであるdQPを紹介する。
我々の解は、QP最適化におけるアクティブ制約セットの知識が明示的な微分を可能にするというコア理論的知見に基づいている。
我々の実装は公開され、15以上の最先端QP解決器をサポートする既存のフレームワークとインターフェースします。
論文 参考訳（メタデータ） (2024-10-08T20:01:39Z) - Combinatorial Multivariant Multi-Armed Bandits with Applications to Episodic Reinforcement Learning and Beyond [58.39457881271146]
CMAB(Multi-armed bandits)の多変量および確率的トリガーアーム(CMAB-MT)を用いた新しい枠組みを導入する。
CMAB-MTは既存のCMABと比べ、モデリング能力を高めるだけでなく、多変量確率変数の異なる統計特性を活用することで結果を改善することができる。
本フレームワークは, エピソード強化学習(RL)や商品分布の確率的最大カバレッジなど, 応用として多くの重要な問題を含むことができる。
論文 参考訳（メタデータ） (2024-06-03T14:48:53Z) - A Differentiable Integer Linear Programming Solver for Explanation-Based Natural Language Inference [17.467900115986158]
我々は、説明に基づく自然言語推論(NLI)のためのニューロシンボリックアーキテクチャであるDiff-Comb Explainerを紹介する。
Diff-Comb Explainerは、意味的制約の連続的な緩和を必要とせず、直接的でより正確で効率的な神経表現をILPの定式化に組み込むことができる。
Diff-Comb Explainer は従来の ILP ソルバ, ニューロシンボリックブラックボックスソルバ, トランスフォーマーベースのエンコーダと比較して優れた性能を示した。
論文 参考訳（メタデータ） (2024-04-03T10:29:06Z) - Efficient Alternating Minimization Solvers for Wyner Multi-View
Unsupervised Learning [0.0]
本稿では,計算効率のよい解法の開発を可能にする2つの新しい定式化法を提案する。
提案した解法は, 計算効率, 理論的収束保証, ビュー数による局所最小値複雑性, 最先端技術と比較して, 例外的な精度を提供する。
論文 参考訳（メタデータ） (2023-03-28T10:17:51Z) - Flexible Differentiable Optimization via Model Transformations [1.081463830315253]
目的および/または制約に存在する任意のパラメータに関して、最適化問題の解を通じて区別するJuliaライブラリであるDiffOptを紹介する。
論文 参考訳（メタデータ） (2022-06-10T09:59:13Z) - Revisiting GANs by Best-Response Constraint: Perspective, Methodology,
and Application [49.66088514485446]
ベストレスポンス制約(Best-Response Constraint、BRC)は、ジェネレータのディスクリミネータへの依存性を明示的に定式化する一般的な学習フレームワークである。
モチベーションや定式化の相違があっても, フレキシブルBRC法により, 様々なGANが一様に改善できることが示される。
論文 参考訳（メタデータ） (2022-05-20T12:42:41Z) - Adaptive Discrete Communication Bottlenecks with Dynamic Vector
Quantization [76.68866368409216]
入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。
コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-02-02T23:54:26Z) - A Variational Inference Approach to Inverse Problems with Gamma
Hyperpriors [60.489902135153415]
本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。
提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
論文 参考訳（メタデータ） (2021-11-26T06:33:29Z) - Efficient and Modular Implicit Differentiation [68.74748174316989]
最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。
一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
論文 参考訳（メタデータ） (2021-05-31T17:45:58Z) - $\partial$-Explainer: Abductive Natural Language Inference via
Differentiable Convex Optimization [2.624902795082451]
本稿では,Deep Neural Networkの一部として制約付き最適化をキャストすることにより,両世界の長所を組み合わせた$partial$-Explainer(Diff-Explainer)という新しいフレームワークを提案する。
我々の実験は、その推論をサポートするための説明を提供しながら、非微分型解法よりも約10%高い改善率を示しました。
論文 参考訳（メタデータ） (2021-05-07T17:49:19Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。