論文の概要: Hybrid Autoregressive Solver for Scalable Abductive Natural Language Inference

• arxiv url: http://arxiv.org/abs/2107.11879v1
• Date: Sun, 25 Jul 2021 19:29:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-27 16:22:37.076130
• Title: Hybrid Autoregressive Solver for Scalable Abductive Natural Language Inference
• Title（参考訳）: スケーラブルな帰納的自然言語推論のためのハイブリッド自己回帰解法
• Authors: Marco Valentino, Mokanarangan Thayaparan, Deborah Ferreira, Andr\'e Freitas
• Abstract要約: 本稿では,高密度バイエンコーダと説明力のスパースモデルとを自己回帰的に結合するハイブリッド誘導型解法を提案する。 提案するフレームワークは,最先端のクロスエンコーダに匹敵する性能を実現することができることを示す。
• 参考スコア（独自算出の注目度）: 2.867517731896504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regenerating natural language explanations for science questions is a challenging task for evaluating complex multi-hop and abductive inference capabilities. In this setting, Transformers trained on human-annotated explanations achieve state-of-the-art performance when adopted as cross-encoder architectures. However, while much attention has been devoted to the quality of the constructed explanations, the problem of performing abductive inference at scale is still under-studied. As intrinsically not scalable, the cross-encoder architectural paradigm is not suitable for efficient multi-hop inference on massive facts banks. To maximise both accuracy and inference time, we propose a hybrid abductive solver that autoregressively combines a dense bi-encoder with a sparse model of explanatory power, computed leveraging explicit patterns in the explanations. Our experiments demonstrate that the proposed framework can achieve performance comparable with the state-of-the-art cross-encoder while being $\approx 50$ times faster and scalable to corpora of millions of facts. Moreover, we study the impact of the hybridisation on semantic drift and science question answering without additional training, showing that it boosts the quality of the explanations and contributes to improved downstream inference performance.
• Abstract（参考訳）: 科学的な質問に対する自然言語説明の再生は、複雑なマルチホップと帰納的推論能力を評価する上で難しい課題である。 この設定では、ヒューマンアノテートされた説明に基づいて訓練されたトランスフォーマーは、クロスエンコーダアーキテクチャとして採用される場合、最先端のパフォーマンスを達成する。 しかしながら、構築された説明の質に多くの注意が向けられているが、大規模に推論を行うという問題はいまだに未検討である。 本質的にスケーラブルではないため、クロスエンコーダアーキテクチャパラダイムは巨大なファクトバンクの効率的なマルチホップ推論には適していない。 精度と推論時間の両方を最大化するために,高密度な双エンコーダと説明力のスパースモデルとを自己回帰的に結合し,説明文中の明示的なパターンを活用するハイブリッド誘導解法を提案する。 実験の結果,提案フレームワークは最先端のクロスエンコーダに匹敵する性能を達成でき,しかも,数百万の事実をコーパスするために,50ドルの高速かつスケーラブルであることがわかった。 さらに,ハイブリダイゼーションがセマンティックドリフトおよび科学質問応答に与える影響について,追加のトレーニングを伴わずに検討し,説明の質を高め,下流推論性能の向上に寄与することを示した。

関連論文リスト

• A Theoretical Perspective for Speculative Decoding Algorithm [60.79447486066416]
  EmphSpeculative Decodingは、小さなモデルを使用して、ドラフトトークンのシーケンスと、検証のための大きなモデルをサンプリングする。 本稿では,マルコフ連鎖抽象化による復号化問題を概念化し,理論的な観点から,鍵特性,エファンアウトプットの品質,推論加速度について考察する。
  論文  参考訳（メタデータ） (2024-10-30T01:53:04Z)
• More Experts Than Galaxies: Conditionally-overlapping Experts With Biologically-Inspired Fixed Routing [5.846028298833611]
  Conditionally Overlapping Mixture of ExperTs (COMET) は、モジュラーでスパースなアーキテクチャを、指数関数的に重複する専門家数で誘導する一般的なディープラーニング手法である。 画像分類,言語モデリング,回帰といったタスクにおけるCOMETの有効性を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:58:18Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Enhancing Dual-Encoders with Question and Answer Cross-Embeddings for Answer Retrieval [29.16807969384253]
  デュアルエンコーダは質問応答システム(QA)における回答検索のための有望なメカニズムである。 質問応答のクロス埋め込みと新しい幾何アライメント機構(GAM)を備えたデュアルエンコーダモデルを構築するためのフレームワークを提案する。 本フレームワークはDual-Encodersモデルを大幅に改善し,複数の回答検索データセット上で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-06-07T02:39:24Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• $\partial$-Explainer: Abductive Natural Language Inference via Differentiable Convex Optimization [2.624902795082451]
  本稿では,Deep Neural Networkの一部として制約付き最適化をキャストすることにより,両世界の長所を組み合わせた$partial$-Explainer(Diff-Explainer)という新しいフレームワークを提案する。 我々の実験は、その推論をサポートするための説明を提供しながら、非微分型解法よりも約10%高い改善率を示しました。
  論文  参考訳（メタデータ） (2021-05-07T17:49:19Z)
• Case-Based Abductive Natural Language Inference [4.726777092009554]
  事例ベース帰納的自然言語推論(CB-ANLI) 事例ベース帰納的自然言語推論(CB-ANLI)
  論文  参考訳（メタデータ） (2020-09-30T09:50:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。