論文の概要: Improving Lexical Embeddings for Robust Question Answering

• arxiv url: http://arxiv.org/abs/2202.13636v1
• Date: Mon, 28 Feb 2022 09:28:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 03:46:28.593353
• Title: Improving Lexical Embeddings for Robust Question Answering
• Title（参考訳）: ロバストな質問応答のための語彙埋め込みの改善
• Authors: Weiwen Xu, Bowei Zou, Wai Lam, Ai Ti Aw
• Abstract要約: 語彙埋め込みのロバスト性を改善するために,セマンティック制約とコンテキスト制約(ESC)による表現拡張を提案する。 具体的には、意味的制約を伴う摂動を挿入し、文脈制約損失を通じて拡張された文脈表現を訓練し、正しい答えの文脈ヒントをよりよく識別する。
• 参考スコア（独自算出の注目度）: 36.48875349299275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent techniques in Question Answering (QA) have gained remarkable performance improvement with some QA models even surpassed human performance. However, the ability of these models in truly understanding the language still remains dubious and the models are revealing limitations when facing adversarial examples. To strengthen the robustness of QA models and their generalization ability, we propose a representation Enhancement via Semantic and Context constraints (ESC) approach to improve the robustness of lexical embeddings. Specifically, we insert perturbations with semantic constraints and train enhanced contextual representations via a context-constraint loss to better distinguish the context clues for the correct answer. Experimental results show that our approach gains significant robustness improvement on four adversarial test sets.
• Abstract（参考訳）: 質問応答(QA)の最近の技術は、人的性能を超越したいくつかのQAモデルにおいて、顕著な性能向上を実現している。 しかし、言語を真に理解する上でのこれらのモデルの能力はいまだに疑わしいままであり、そのモデルは敵対的な例に直面すると限界を明らかにする。 QAモデルのロバスト性と一般化能力を強化するため,語彙埋め込みのロバスト性を改善するためにセマンティックおよびコンテキスト制約(ESC)アプローチによる表現拡張を提案する。 具体的には、意味的制約を伴う摂動を挿入し、文脈制約損失を通じて拡張された文脈表現を訓練し、正しい答えの文脈ヒントをよりよく識別する。 実験の結果,本手法は4つの逆テストセットにおいて有意なロバスト性改善をもたらすことがわかった。

関連論文リスト

• Natural Language Inference Improves Compositionality in Vision-Language Models [35.71815423077561]
  所与の前提から細部と矛盾を生じさせる原則的アプローチを提案する。 CECEは、その中核的な意味を維持しながら、語彙的に多様な文を生成する。 我々は、追加の微調整を必要とせず、従来の方法よりも大幅に改善した。
  論文  参考訳（メタデータ） (2024-10-29T17:54:17Z)
• Learning-to-Defer for Extractive Question Answering [3.6787328174619254]
  質問応答の文脈で言語モデルを再訓練することなく、人間の専門家や大規模モデルへの選択的推論を可能にすることにより、意思決定を強化する2段階の学習・判断機構を適応的に導入する。 その結果,最小限のクエリを遅延させることで,計算効率を保ちながら,より大規模なクエリに匹敵する性能を実現することができた。
  論文  参考訳（メタデータ） (2024-10-21T08:21:00Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Exchange-of-Thought: Enhancing Large Language Model Capabilities through Cross-Model Communication [76.04373033082948]
  大規模言語モデル(LLM)は、最近、Chain-of-Thoughtテクニックによる複雑な推論タスクにおいて大きな進歩を遂げました。 本稿では,問題解決時のクロスモデル通信を可能にする新しいフレームワークであるExchange-of-Thought (EoT)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T11:53:56Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model, Data, and Training [109.9218185711916]
  アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。 我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
  論文  参考訳（メタデータ） (2023-04-19T11:07:43Z)
• Knowledge-Based Counterfactual Queries for Visual Question Answering [0.0]
  本稿では,VQAモデルの動作を説明するための系統的手法を提案する。 そこで我々は,言語的モダリティをターゲットとした決定論的,最適,制御可能な単語レベルの置換を行うために,構造化知識ベースを利用する。 次に、そのような反実的な入力に対するモデルの応答を評価する。
  論文  参考訳（メタデータ） (2023-03-05T08:00:30Z)
• Obtaining Better Static Word Embeddings Using Contextual Embedding Models [53.86080627007695]
  提案手法はCBOWをベースとした簡易な蒸留法である。 副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
  論文  参考訳（メタデータ） (2021-06-08T12:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。