論文の概要: Rethinking Label Smoothing on Multi-hop Question Answering

• arxiv url: http://arxiv.org/abs/2212.09512v1
• Date: Mon, 19 Dec 2022 14:48:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 16:48:35.548501
• Title: Rethinking Label Smoothing on Multi-hop Question Answering
• Title（参考訳）: マルチホップ質問応答におけるラベル平滑化の再考
• Authors: Zhangyue Yin, Yuxin Wang, Yiguang Wu, Hang Yan, Xiannian Hu, Xinyu Zhang, Zhao Cao, Xuanjing Huang, Xipeng Qiu
• Abstract要約: 本稿では,機械読取作業に特化して設計された新しいラベル平滑化手法であるF1平滑化を提案する。 この結果から,MHQAではラベルの平滑化が有効であることが示唆されたが,平滑化戦略の選択は性能に大きな影響を及ぼす可能性が示唆された。
• 参考スコア（独自算出の注目度）: 83.32346725238783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label smoothing is a regularization technique widely used in supervised learning to improve the generalization of models on various tasks, such as image classification and machine translation. However, the effectiveness of label smoothing in multi-hop question answering (MHQA) has yet to be well studied. In this paper, we systematically analyze the role of label smoothing on various modules of MHQA and propose F1 smoothing, a novel label smoothing technique specifically designed for machine reading comprehension (MRC) tasks. We evaluate our method on the HotpotQA dataset and demonstrate its superiority over several strong baselines, including models that utilize complex attention mechanisms. Our results suggest that label smoothing can be effective in MHQA, but the choice of smoothing strategy can significantly affect performance.
• Abstract（参考訳）: ラベルスムーシング(英: Label smoothing)は、画像分類や機械翻訳などの様々なタスクにおけるモデルの一般化を改善するために教師あり学習で広く用いられている正規化手法である。 しかし,マルチホップ質問応答(MHQA)におけるラベル平滑化の有効性については,まだ十分に研究されていない。 本稿では,MHQAの各種モジュールにおけるラベル平滑化の役割を体系的に解析し,機械読解タスクに特化して設計された新しいラベル平滑化技術であるF1平滑化を提案する。 提案手法をhotpotqaデータセット上で評価し,複雑な注意機構を用いたモデルを含む,いくつかの強力なベースラインに対してその優越性を示す。 その結果,mhqaではラベル平滑化が有効であることが示唆されたが,平滑化戦略の選択は性能に大きな影響を与える可能性がある。

関連論文リスト

• Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
  大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。 算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。 強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
  論文  参考訳（メタデータ） (2024-06-19T23:30:01Z)
• Automated Distractor and Feedback Generation for Math Multiple-choice Questions via In-context Learning [43.83422798569986]
  マルチチョイス質問(MCQ)は、管理しやすく、格付けし、信頼性の高い評価形式であるため、ほぼ全てのレベルの教育においてユビキタスである。 これまで、高品質なイントラクタを作るというタスクは、教師やコンテンツデザイナーを学ぶための労働集約的なプロセスのままだった。 本稿では,テキスト内学習をベースとした簡易な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-07T01:03:04Z)
• Prompt-based Conservation Learning for Multi-hop Question Answering [11.516763652013005]
  マルチホップ質問応答には、複雑な質問に答えるために複数の文書を推論する必要がある。 既存のマルチホップQAメソッドの多くは、サブクエストのかなりの部分に答えられません。 マルチホップQAのためのPromptベースの保存学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-14T20:50:46Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)
• KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive Question Answering [28.18555591429343]
  我々はKECP(Knowledge Enhanced Contrastive Prompt-tuning)という新しいフレームワークを提案する。 PLMにポインタヘッドを追加する代わりに、タスクを非自己回帰型マスケッド言語モデリング(MLM)生成問題に変換する。 提案手法は,数ショット設定における最先端のアプローチを大きなマージンで一貫して上回っている。
  論文  参考訳（メタデータ） (2022-05-06T08:31:02Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)
• Adversarial Training for Machine Reading Comprehension with Virtual Embeddings [45.12957199981406]
  本稿では,単語ベクトルの代わりに埋め込み行列を摂動させるPQATという新しい逆学習手法を提案する。 提案手法は,スパンベース抽出RCや複数選択RCなど,幅広い機械読解タスクにおいて検証される。 その結果、対人訓練は普遍的に有効であり、PQATはパフォーマンスをさらに向上することが示された。
  論文  参考訳（メタデータ） (2021-06-08T15:16:34Z)
• Reinforced Multi-task Approach for Multi-hop Question Generation [47.15108724294234]
  我々は,その文脈における支援事実に基づいて,関連する質問を生成することを目的としたマルチホップ質問生成を取り上げている。 我々は,質問生成を導くために,回答認識支援事実予測の補助タスクを備えたマルチタスク学習を採用する。 マルチホップ質問応答データセットHotPotQAの実験を通して,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-04-05T10:16:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。