論文の概要: WangchanLion and WangchanX MRC Eval

• arxiv url: http://arxiv.org/abs/2403.16127v1
• Date: Sun, 24 Mar 2024 12:49:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 17:25:57.755567
• Title: WangchanLion and WangchanX MRC Eval
• Title（参考訳）: WangchanLionとWangchanX MRC Eval
• Authors: Wannaphong Phatthiyaphaibun, Surapon Nonesung, Patomporn Payoungkhamdee, Peerat Limkonchotiwat, Can Udomcharoenchaikit, Ekapol Chuangsuwanich, Sarana Nutanong,
• Abstract要約: WangchanLionはタイ語で機械読解(MRC)に焦点を当てた微調整モデルである。 オープンな研究を促進するため、Apache-2ライセンスの下で、すべてのトレーニングデータ、コード、最終的なモデルの重みを公開しています。
• 参考スコア（独自算出の注目度）: 11.77404103236265
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This technical report describes the development of WangchanLion, an instruction fine-tuned model focusing on Machine Reading Comprehension (MRC) in the Thai language. Our model is based on SEA-LION and a collection of instruction following datasets. To promote open research and reproducibility, we publically release all training data, code, and the final model weights under the Apache-2 license. To assess the contextual understanding capability, we conducted extensive experimental studies using two Thai MRC datasets, XQuAD and Iapp_wiki_qa_squad. Experimental results demonstrate the model's ability to comprehend the context and produce an answer faithful to the reference one in 0-shot and 1-shot settings. In addition, our evaluation goes beyond the traditional MRC. We propose a new evaluation scheme assessing the answer's correctness, helpfulness, conciseness, and contextuality. Evaluation results provide insight into how we can improve our model in the future. Our code is public at https://github.com/vistec-AI/WangchanLion.
• Abstract（参考訳）: 本技術報告では,タイ語における機械読解(MRC)に着目した微調整モデルであるWangchanLionの開発について述べる。 本モデルは,SEA-LIONとデータセットに基づく命令の集合に基づく。 オープンな研究と再現性を促進するため、Apache-2ライセンスの下で、トレーニングデータ、コード、最終的なモデルの重み付けをすべて公開しています。 文脈理解能力を評価するために,タイの2つのMRCデータセットであるXQuADとIapp_wiki_qa_squadを用いて広範な実験を行った。 実験の結果、モデルがコンテキストを理解し、0ショットと1ショットの設定で参照に忠実な回答を生成する能力を示す。 さらに、我々の評価は従来のMRCを超えています。 本稿では,回答の正確性,有用性,簡潔性,文脈性を評価する新しい評価手法を提案する。 評価結果は、将来モデルを改善する方法についての洞察を与えてくれる。 私たちのコードはhttps://github.com/vistec-AI/WangchanLion.comで公開されています。

関連論文リスト

• ChuXin: 1.6B Technical Report [7.03872473285061]
  ChuXinは16億のパラメータを持つ完全にオープンソースな言語モデルである。 トレーニングデータ、トレーニングプロセス、評価コードなど、モデルをトレーニングするために必要なものはすべて用意しました。
  論文  参考訳（メタデータ） (2024-05-08T05:54:44Z)
• Benchmarking Foundation Models with Language-Model-as-an-Examiner [47.345760054595246]
  本稿では,新しいベンチマークフレームワークLanguage-Model-as-an-Examinerを提案する。 LMは、その知識に基づいて質問を定式化し、基準のない方法で応答を評価する、知識に富んだ検査者として機能する。
  論文  参考訳（メタデータ） (2023-06-07T06:29:58Z)
• Zero-shot Visual Question Answering with Language Model Feedback [83.65140324876536]
  知識に基づく視覚的質問応答(VQA)のための言語モデル指導型キャプションアプローチ LAMOC を提案する。 提案手法では,予備学習言語モデル (PLM) である回答予測モデルの文脈として,キャプションモデルによって生成されたキャプションを用いる。
  論文  参考訳（メタデータ） (2023-05-26T15:04:20Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
  本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。 このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
  論文  参考訳（メタデータ） (2022-10-01T05:02:04Z)
• Feeding What You Need by Understanding What You Learned [54.400455868448695]
  Machine Reading (MRC)は、与えられたテキストパスを理解し、それに基づいて質問に答える機能を明らかにする。 MRCの既存の研究は、Exact Matchのようなメトリクスによって評価されたパフォーマンスを改善するために、大規模なモデルとコーパスに大きく依存している。 モデル機能とデータ特性の深い理解は、適切なトレーニングデータでモデルをフィードするのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-05T14:15:59Z)
• ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback [70.5469946314539]
  ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。 統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
  論文  参考訳（メタデータ） (2021-07-30T17:58:54Z)
• ExpMRC: Explainability Evaluation for Machine Reading Comprehension [42.483940360860096]
  我々は,機械読解システムの説明可能性を評価するためのExpMRCと呼ばれる新しいベンチマークを提案する。 我々は、最先端の事前訓練言語モデルを用いてベースラインシステムを構築し、人間の注釈のないトレーニングセットなしで証拠を抽出するための様々な教師なしアプローチを採用する。
  論文  参考訳（メタデータ） (2021-05-10T06:00:20Z)
• Coreference Reasoning in Machine Reading Comprehension [100.75624364257429]
  機械読解におけるコレファレンス推論は,従来考えられていたよりも大きな課題である。 本稿では,コア参照推論の課題を反映した理解データセットの読解手法を提案する。 これにより、さまざまなMRCデータセットにまたがる最先端のモデルの推論能力が向上します。
  論文  参考訳（メタデータ） (2020-12-31T12:18:41Z)
• KgPLM: Knowledge-guided Language Model Pre-training via Generative and Discriminative Learning [45.067001062192844]
  事実の知識の完成と検証によって導かれる言語モデル事前トレーニングフレームワークを提示する。 ゼロショットクローゼ型質問応答タスクのセットであるLAMAの実験結果は、私たちのモデルが従来の訓練済み言語モデルよりも豊富な事実知識を含んでいることを示しています。
  論文  参考訳（メタデータ） (2020-12-07T09:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。