Fugu-MT 論文翻訳(概要): Enhancing Distractor Generation for Multiple-Choice Questions with Retrieval Augmented Pretraining and Knowledge Graph Integration

論文の概要: Enhancing Distractor Generation for Multiple-Choice Questions with Retrieval Augmented Pretraining and Knowledge Graph Integration

arxiv url: http://arxiv.org/abs/2406.13578v1
Date: Wed, 19 Jun 2024 14:12:05 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 19:24:08.094580
Title: Enhancing Distractor Generation for Multiple-Choice Questions with Retrieval Augmented Pretraining and Knowledge Graph Integration
Title（参考訳）: 検索事前学習と知識グラフの統合による複数項目質問に対するディトラクタ生成の強化
Authors: Han-Cheng Yu, Yu-An Shih, Kin-Man Law, Kai-Yu Hsieh, Yu-Chen Cheng, Hsin-Chih Ho, Zih-An Lin, Wen-Chuan Hsu, Yao-Chung Fan,
Abstract要約: 複数項目の質問に対して, イントラクタ生成(DG)の課題に取り組む。そこで本稿では,DGの下流タスクとより緊密に連携するために,言語モデルの事前訓練を改良するテキスト検索型拡張事前学習を提案する。
参考スコア（独自算出の注目度）: 4.8193608501930845
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: In this paper, we tackle the task of distractor generation (DG) for multiple-choice questions. Our study introduces two key designs. First, we propose \textit{retrieval augmented pretraining}, which involves refining the language model pretraining to align it more closely with the downstream task of DG. Second, we explore the integration of knowledge graphs to enhance the performance of DG. Through experiments with benchmarking datasets, we show that our models significantly outperform the state-of-the-art results. Our best-performing model advances the F1@3 score from 14.80 to 16.47 in MCQ dataset and from 15.92 to 16.50 in Sciq dataset.
Abstract（参考訳）: 本稿では,複数質問に対する注意散布器生成(DG)の課題に取り組む。本研究は2つの重要な設計を紹介する。まず、DGの下流タスクとより密に整合させるために、事前訓練の言語モデルを精細化することを含む、拡張事前訓練のtextit{retrievalを提案する。次に,DGの性能向上を目的とした知識グラフの統合について検討する。ベンチマークデータセットによる実験により、我々のモデルは最先端の結果を大きく上回っていることが示された。我々の最高のパフォーマンスモデルは、MCQデータセットで14.80から16.47、Sciqデータセットで15.92から16.50までF1@3スコアを前進させる。

関連論文リスト

Enriched BERT Embeddings for Scholarly Publication Classification [0.13654846342364302]
NSLP 2024 FoRC Task Iは、競争として組織されたこの課題に対処する。目的は、ある論文に対する研究分野の分類法であるOpen Research Knowledge Graph (ORKG) から、123の事前定義されたクラスのうちの1つを予測することができる分類器を開発することである。
論文参考訳（メタデータ） (2024-05-07T09:05:20Z)
SmurfCat at SemEval-2024 Task 6: Leveraging Synthetic Data for Hallucination Detection [51.99159169107426]
本稿では,SemEval-2024幻覚検出タスクのための新しいシステムを提案する。我々の調査は、モデル予測と基準基準を比較するための様々な戦略にまたがっている。強力なパフォーマンス指標を示す3つの異なる方法を紹介します。
論文参考訳（メタデータ） (2024-04-09T09:03:44Z)
A Three-Phases SFT Hybrid Model Integrated Strong Prior Module and Data Overlap Estimation in the Eduation Context [0.0]
教師付き微調整モデルとして,エンド・ツー・エンドの3相モデルを提案する。本モデルは,学習知識の構造的分解と漸進的指導によるアウトプットを実現する。当社のモデルは,オープンソースモデルと比較して,コード能力の最先端性も達成している。
論文参考訳（メタデータ） (2024-03-13T05:38:39Z)
Towards Effective and General Graph Unlearning via Mutual Evolution [44.11777886421429]
グラフアンラーニングの予測能力と未学習能力を同時に進化させる新しい相互進化パラダイムであるMEGUを提案する。 9つのグラフベンチマークデータセットの実験では、MEGUは2.7%、2.5%、および3.2%の平均的なパフォーマンス改善を達成した。 MEGUは、GNNをゼロから再訓練するのと比較して、それぞれ平均159.8xと9.6xの時間と空間のオーバーヘッドを減少させる、十分な訓練効率を示す。
論文参考訳（メタデータ） (2024-01-22T08:45:29Z)
Cross-Modal Fine-Tuning: Align then Refine [83.37294254884446]
ORCAはクロスモーダルな微調整フレームワークであり、単一の大規模事前訓練モデルの適用範囲を様々に拡張する。 ORCAは12のモダリティから60以上のデータセットを含む3つのベンチマークで最先端の結果を得る。
論文参考訳（メタデータ） (2023-02-11T16:32:28Z)
Intermediate Training on Question Answering Datasets Improves Generative Data Augmentation [32.83012699501051]
我々は、コンテキスト生成タスクとしてデータ生成を定式化することにより、生成データ拡張を改善する。ダウンストリームタスクを質問応答形式に投入し、微調整されたコンテキストジェネレータをターゲットタスク領域に適応させる。少数ショット、ゼロショット設定で、パフォーマンスが大幅に改善されたことを実証します。
論文参考訳（メタデータ） (2022-05-25T09:28:21Z)
Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文参考訳（メタデータ） (2022-05-10T19:32:20Z)
The Second Place Solution for ICCV2021 VIPriors Instance Segmentation Challenge [6.087398773657721]
データ効率のよいコンピュータビジョンのためのビジュアルインダクティブプライオリティ(VIPriors)は、競合に対して、データ不足の環境でモデルをゼロからトレーニングするように求めている。 ICCV 2021 VIPriorsインスタンスセグメンテーションチャレンジの技術的詳細を紹介する。 ICCV 2021 VIPriors インスタンスセグメンテーションの試験セットで 40.2%AP@0.50:0.95 を達成することができる。
論文参考訳（メタデータ） (2021-12-02T09:23:02Z)
Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
論文参考訳（メタデータ） (2021-11-17T12:10:03Z)
KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
論文参考訳（メタデータ） (2020-10-05T19:59:05Z)
Investigating Pretrained Language Models for Graph-to-Text Generation [55.55151069694146]
Graph-to-text生成は、グラフベースのデータから流動的なテキストを生成することを目的としている。本稿では,3つのグラフ領域,つまり表現,ウィキペディア知識グラフ(KG),科学的なKGについて検討する。我々は, PLM の BART と T5 が新たな最先端の成果を達成し, タスク適応型事前学習戦略が性能をさらに向上することを示す。
論文参考訳（メタデータ） (2020-07-16T16:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。