論文の概要: The student becomes the master: Matching GPT3 on Scientific Factual Error Correction

• arxiv url: http://arxiv.org/abs/2305.14707v1
• Date: Wed, 24 May 2023 04:24:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 19:49:25.650589
• Title: The student becomes the master: Matching GPT3 on Scientific Factual Error Correction
• Title（参考訳）: 学生がマスターになる:科学的事実誤り訂正におけるGPT3のマッチング
• Authors: Dhananjay Ashok, Atharva Kulkarni, Hai Pham, Barnab\'as P\'oczos
• Abstract要約: ほとんどのFactual Claim Correction法は、補正プロセスを導くための強力な検証モデルに依存している。 これにより、Scientific Claim Correctionのようなドメインのパフォーマンスが大幅に低下する。 検証を必要とせず,既存の手法を桁違いに上回る性能を有するクレーム補正システムを導入する。
• 参考スコア（独自算出の注目度）: 3.4541299307644744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the prohibitively high cost of creating error correction datasets, most Factual Claim Correction methods rely on a powerful verification model to guide the correction process. This leads to a significant drop in performance in domains like Scientific Claim Correction, where good verification models do not always exist. In this work, we introduce a claim correction system that makes no domain assumptions and does not require a verifier but is able to outperform existing methods by an order of magnitude -- achieving 94% correction accuracy on the SciFact dataset, and 62.5% on the SciFact-Open dataset, compared to the next best methods 0.5% and 1.50% respectively. Our method leverages the power of prompting with LLMs during training to create a richly annotated dataset that can be used for fully supervised training and regularization. We additionally use a claim-aware decoding procedure to improve the quality of corrected claims. Our method is competitive with the very LLM that was used to generate the annotated dataset -- with GPT3.5 achieving 89.5% and 60% correction accuracy on SciFact and SciFact-Open, despite using 1250 times as many parameters as our model.
• Abstract（参考訳）: 誤り訂正データセットを作成するコストが極端に高いため、ほとんどのFactual Claim Correction法は修正プロセスを導くために強力な検証モデルに依存している。 これにより、優れた検証モデルが常に存在するとは限らないScientific Claim Correctionのようなドメインのパフォーマンスが大幅に低下する。 そこで本研究では,既存の手法を94%の精度で達成し,scifactデータセットでは62.5%,scifact-openデータセットでは0.5%,1.50%の精度で,検証は必要とせず,既存の手法を1桁も上回ることができるクレーム補正システムを提案する。 本手法は,LLMを学習中に促す力を利用して,十分に教師付きトレーニングや正規化に使用できるリッチな注釈付きデータセットを作成する。 さらに,クレームアウェア復号法を用いて,補正されたクレームの品質を向上させる。 gpt3.5はscifactとscifact-openで89.5%と60%の精度を達成していますが、我々のモデルより1250倍のパラメータを使っています。

関連論文リスト

• Fill In The Gaps: Model Calibration and Generalization with Synthetic Data [2.89287673224661]
  本稿では,合成データを精度良く組み込んだキャリブレーション手法を提案する。 本稿では,予測校正誤差(ECE)をPAC学習フレームワークを用いて導出する。 平均34%の精度, 33%のECE低下を認めた。
  論文  参考訳（メタデータ） (2024-10-07T23:06:42Z)
• Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
  本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。 Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。 以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-26T17:43:06Z)
• FedCal: Achieving Local and Global Calibration in Federated Learning via Aggregated Parameterized Scaler [29.93307421620845]
  フェデレートラーニング(FedCal)は、クライアント固有のスケーラをローカルおよびグローバルキャリブレーションに使用する。 実験では、FedCalが最高性能のベースラインを大幅に上回り、グローバルキャリブレーションエラーを平均47.66%削減した。
  論文  参考訳（メタデータ） (2024-05-24T11:33:58Z)
• Reformatted Alignment [27.79684742862816]
  データ品質を改善するための現在の手法は、労働集約的であるか、幻覚によって引き起こされる事実上の誤りを招きやすいかのいずれかである。 本稿では,ReAlignという簡易かつ効果的な手法を導入し,命令データの応答を予め確立された基準と照合された証拠に適合する形式に再構成する。 実験的に、ReAlignはLLMの一般的なアライメント能力、数学的推論、事実性、可読性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-02-19T15:21:58Z)
• Parameter-tuning-free data entry error unlearning with adaptive selective synaptic dampening [51.34904967046097]
  本稿では,パラメータチューニングの必要性を排除した選択的シナプス減衰アンラーニング法の拡張を提案する。 本稿では,ResNet18とVision Transformerの未学習タスクにおける適応選択的シナプス減衰(ASSD)の性能を示す。 このアプローチの適用は、サプライチェーン管理などの産業環境において特に魅力的である。
  論文  参考訳（メタデータ） (2024-02-06T14:04:31Z)
• FAIRLABEL: Correcting Bias in Labels [2.810160553339817]
  ラベルのバイアスを検出し修正するアルゴリズムであるFAIRLABELを提案する。 FAIRLABELisの目標は、予測の精度を維持しつつ、グループ間での異種影響(DI)を低減することである。
  論文  参考訳（メタデータ） (2023-11-01T16:38:27Z)
• Machine Learning Force Fields with Data Cost Aware Training [94.78998399180519]
  分子動力学(MD)シミュレーションを加速するために機械学習力場(MLFF)が提案されている。 最もデータ効率のよいMLFFであっても、化学精度に達するには数百フレームの力とエネルギーのラベルが必要になる。 我々は、安価な不正確なデータと高価な正確なデータの組み合わせを利用して、MLFFのデータコストを下げる多段階計算フレームワークASTEROIDを提案する。
  論文  参考訳（メタデータ） (2023-06-05T04:34:54Z)
• Boosting Facial Expression Recognition by A Semi-Supervised Progressive Teacher [54.50747989860957]
  本稿では,信頼度の高いFERデータセットと大規模未ラベル表現画像を有効訓練に用いるための半教師付き学習アルゴリズム,Progressive Teacher (PT)を提案する。 RAF-DB と FERPlus を用いた実験により,RAF-DB で89.57% の精度で最先端の性能を実現する手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-05-28T07:47:53Z)
• Data-Free Quantization with Accurate Activation Clipping and Adaptive Batch Normalization [4.329951775163721]
  正確なアクティベーションクリッピングと適応バッチ正規化を備えたデータフリー量子化法を提案する。 実験により、提案したデータフリーな量子化手法が驚くほどの性能を示し、ImageNetデータセット上のResNet18の64.33%のトップ1精度を達成した。
  論文  参考訳（メタデータ） (2022-04-08T01:56:51Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。