Fugu-MT 論文翻訳(概要): Hallucination Augmented Recitations for Language Models

論文の概要: Hallucination Augmented Recitations for Language Models

arxiv url: http://arxiv.org/abs/2311.07424v1
Date: Mon, 13 Nov 2023 15:58:18 GMT
ステータス: 処理完了
システム内更新日: 2023-11-14 13:46:25.944633
Title: Hallucination Augmented Recitations for Language Models
Title（参考訳）: 言語モデルのための幻覚強化リテーション
Authors: Abdullatif K\"oksal, Renat Aksitov, Chung-Ching Chang
Abstract要約: 本稿では, 言語モデルにおける幻覚を利用して, 対実的データセットを作成するためのHARを提案する。ケーススタディとしてオープンブックQAについて,本論文のデータセットを微調整したモデルでは,テキストのグラウンド化が向上し,オープンブックQAのパフォーマンスが向上し,F1スコアが最大8.0%向上することを示した。ファクトデータセットは,4倍小さいデータセットと4倍小さいモデルであっても,人為的なファクトデータセットを使用する場合よりも,はるかにパフォーマンスが向上する。
参考スコア（独自算出の注目度）: 1.6080650468299018
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Attribution is a key concept in large language models (LLMs) as it enables control over information sources and enhances the factuality of LLMs. While existing approaches utilize open book question answering to improve attribution, factual datasets may reward language models to recall facts that they already know from their pretraining data, not attribution. In contrast, counterfactual open book QA datasets would further improve attribution because the answer could only be grounded in the given text. We propose Hallucination Augmented Recitations (HAR) for creating counterfactual datasets by utilizing hallucination in LLMs to improve attribution. For open book QA as a case study, we demonstrate that models finetuned with our counterfactual datasets improve text grounding, leading to better open book QA performance, with up to an 8.0% increase in F1 score. Our counterfactual dataset leads to significantly better performance than using humanannotated factual datasets, even with 4x smaller datasets and 4x smaller models. We observe that improvements are consistent across various model sizes and datasets, including multi-hop, biomedical, and adversarial QA datasets.
Abstract（参考訳）: 属性は、情報ソースの制御とLLMの事実性の向上を可能にするため、大規模言語モデル(LLM)において重要な概念である。既存のアプローチでは、アトリビューションを改善するためにopen book question answeringを使用しているが、factualデータセットは言語モデルに報酬を与えて、アトリビューションではなく、既にトレーニング済みのデータから知っている事実を思い出させる。対照的に、反実的なオープンブックのQAデータセットは、回答が与えられたテキストにのみ根拠付けられるため、属性をさらに改善する。本稿では,llmにおける幻覚を利用して帰属性を改善する幻覚拡張暗唱法(har)を提案する。ケーススタディとしてオープンブックQAについて,本論文のデータセットを微調整したモデルによりテキストのグラウンド化が向上し,オープンブックQAのパフォーマンスが向上し,F1スコアが最大8.0%向上することを示した。ファクトデータセットは,4倍小さいデータセットと4倍小さいモデルであっても,人為的なファクトデータセットを使用する場合よりも,はるかにパフォーマンスが向上する。我々は、マルチホップ、バイオメディカル、敵対的qaデータセットを含む様々なモデルサイズとデータセットにまたがる改善が一貫性があることを観察する。

関連論文リスト

Advancing Multimodal Large Language Models in Chart Question Answering with Visualization-Referenced Instruction Tuning [1.6570772838074355]
マルチモーダル大言語モデル(MLLM)は、チャート質問応答(CQA)に大きな可能性を示す近年の取り組みは、データ収集と合成によるデータセットのスケールアップに重点を置いている。本稿では,トレーニングデータセットの強化とモデル開発を指導するための,可視化参照型指導チューニング手法を提案する。
論文参考訳（メタデータ） (2024-07-29T17:04:34Z)
Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models [0.8399688944263842]
大きな言語モデル(LLM)は、入力クエリから人間のようなテキストを理解し、生成する能力を持つ。本研究では、この概念を、レトリーバル拡張生成(RAG)パイプライン内のLLMの統合に拡張する。データ抽出と文脈理解における微調整がLLMの能力に与える影響を評価する。
論文参考訳（メタデータ） (2024-06-17T04:35:17Z)
Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling [27.975832264345772]
本稿では,Web上の文書をパラフレーズ化するために,既製の命令調整モデルを用いたWeb Rephrase Augmented Pre-training(textbfWRAP$)を提案する。自然にノイズの多いC4データセットでWRAPを使用することで、プリトレーニングを$sim3x$で高速化する。同じトレーニング済みの計算予算で、Pileのさまざまなサブセットで平均して10%以上のパープレキシティを改善し、13のタスクでゼロショットの質問応答精度を2%以上改善する。
論文参考訳（メタデータ） (2024-01-29T18:19:08Z)
MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
論文参考訳（メタデータ） (2023-10-08T04:44:36Z)
mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。事実整合性評価モデルを利用して、多言語要約を改善する。
論文参考訳（メタデータ） (2022-12-20T19:52:41Z)
Intermediate Training on Question Answering Datasets Improves Generative Data Augmentation [32.83012699501051]
我々は、コンテキスト生成タスクとしてデータ生成を定式化することにより、生成データ拡張を改善する。ダウンストリームタスクを質問応答形式に投入し、微調整されたコンテキストジェネレータをターゲットタスク領域に適応させる。少数ショット、ゼロショット設定で、パフォーマンスが大幅に改善されたことを実証します。
論文参考訳（メタデータ） (2022-05-25T09:28:21Z)
Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文参考訳（メタデータ） (2021-10-04T08:51:36Z)
Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文参考訳（メタデータ） (2021-06-01T22:33:53Z)
Learning to Model and Ignore Dataset Bias with Mixed Capacity Ensembles [66.15398165275926]
本稿では,データセット固有のパターンを自動的に検出・無視する手法を提案する。我々の方法は、より高い容量モデルでアンサンブルで低容量モデルを訓練する。視覚的質問応答データセットの10ポイントゲインを含む,すべての設定の改善を示す。
論文参考訳（メタデータ） (2020-11-07T22:20:03Z)
Synthetic Data Augmentation for Zero-Shot Cross-Lingual Question Answering [8.558954185502012]
付加的な注釈データを必要とすることなく,言語間質問応答性能を向上させる手法を提案する。 MLQA, XQuAD, SQuAD-it, PIAF (fr) の4つの多言語データセットに関する最新情報について報告する。
論文参考訳（メタデータ） (2020-10-23T20:09:01Z)
ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning [85.33459673197149]
標準化された大学院受験試験から抽出した論理的推論(ReClor)を必要とする新たな読解データセットを提案する。本稿では、偏りのあるデータポイントを識別し、それらをEASY集合と残りをHARD集合に分離することを提案する。実験結果によると、最先端のモデルでは、データセットに含まれるバイアスをEASYセット上で高精度にキャプチャする能力に優れていた。しかし、彼らはランダムな推測に近い性能のHARDセットに苦慮しており、現在のモデルの論理的推論能力を本質的に向上させるためには、より多くの研究が必要であることを示している。
論文参考訳（メタデータ） (2020-02-11T11:54:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。