論文の概要: GPTs at Factify 2022: Prompt Aided Fact-Verification
- arxiv url: http://arxiv.org/abs/2206.14913v1
- Date: Wed, 29 Jun 2022 21:07:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-02 08:06:03.315966
- Title: GPTs at Factify 2022: Prompt Aided Fact-Verification
- Title（参考訳）: GPTs at Factify 2022: Prompt Aided Fact-Verification
- Authors: Pawan Kumar Sahu, Saksham Aggarwal, Taneesh Gupta, Gyanendra Das
- Abstract要約: 本稿では, PLM (pre-trained language model) 法と Prompt 法という2つの手法を用いて提案手法を提案する。
FACTIFYデータセットのF1スコアは0.6946で、大会のリーダーボードでは7位でした。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the most pressing societal issues is the fight against false news. The
false claims, as difficult as they are to expose, create a lot of damage. To
tackle the problem, fact verification becomes crucial and thus has been a topic
of interest among diverse research communities. Using only the textual form of
data we propose our solution to the problem and achieve competitive results
with other approaches. We present our solution based on two approaches - PLM
(pre-trained language model) based method and Prompt based method. The
PLM-based approach uses the traditional supervised learning, where the model is
trained to take 'x' as input and output prediction 'y' as P(y|x). Whereas,
Prompt-based learning reflects the idea to design input to fit the model such
that the original objective may be re-framed as a problem of (masked) language
modeling. We may further stimulate the rich knowledge provided by PLMs to
better serve downstream tasks by employing extra prompts to fine-tune PLMs. Our
experiments showed that the proposed method performs better than just
fine-tuning PLMs. We achieved an F1 score of 0.6946 on the FACTIFY dataset and
a 7th position on the competition leader-board.
- Abstract（参考訳）: 最も差し迫った社会問題の一つは偽ニュースとの戦いである。
虚偽の主張は、暴露するのと同じくらい難しく、多くの損害をもたらします。
この問題に取り組むために、事実検証が重要となり、様々な研究コミュニティの間で関心を集めている。
テキスト形式のデータのみを使用することで,この問題に対する解決策を提案し,他の手法と競合する結果を得る。
本稿では,plm (pre-trained language model) に基づく手法とプロンプトに基づく手法の2つのアプローチに基づくソリューションを提案する。
plmベースのアプローチでは、従来の教師付き学習を用いて、モデルが入力として'x'を、p(y|x)として出力予測'y'を訓練する。
一方、Promptベースの学習は、入力をモデルに適合させるために設計するアイデアを反映しており、元の目的を言語モデリングの(偽)問題として再編成することができる。
PLMの豊富な知識をさらに刺激し、PLMの微調整に余分なプロンプトを利用することで、下流のタスクに役立てることができる。
提案手法は,plmを微調整するよりも優れた性能を示す。
FACTIFYデータセットのF1スコアは0.6946で、競技リーダーボードでは7位でした。
関連論文リスト
- MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。
推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。
Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文 参考訳（メタデータ） (2024-05-25T15:07:33Z) - Reinforcement Learning from Multi-role Debates as Feedback for Bias Mitigation in LLMs [6.090496490133132]
本稿では,従来のRLHFのフィードバックに取って代わるバイアス緩和手法であるReinforcement Learning from Multi-role Debates as Feedback (RLDF)を提案する。
強化学習における報酬モデルのトレーニングに,高バイアスと低バイアスの両方のインスタンスを含むデータセットを作成するために,LLMをマルチロール討論に活用する。
論文 参考訳（メタデータ） (2024-04-15T22:18:50Z) - Give Me the Facts! A Survey on Factual Knowledge Probing in Pre-trained
Language Models [2.3981254787726067]
事前訓練された言語モデル(PLM)は、世界知識に富んだ膨大なラベルのないデータに基づいて訓練されている。
このことが、PLMに存在する事実知識の量を定量化するコミュニティの関心を喚起した。
本研究では,PLMの実態を調査するための手法とデータセットについて検討する。
論文 参考訳（メタデータ） (2023-10-25T11:57:13Z) - Making Pre-trained Language Models both Task-solvers and
Self-calibrators [52.98858650625623]
プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。
以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。
課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
論文 参考訳（メタデータ） (2023-07-21T02:51:41Z) - Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。
これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。
言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
論文 参考訳（メタデータ） (2023-06-22T17:31:44Z) - Pre-training Language Models with Deterministic Factual Knowledge [42.812774794720895]
我々は, PLM が残りのコンテキストとマスキングコンテンツとの間にある決定論的関係を学習させることを提案する。
2つの事前学習タスクを導入し、マスクを充填する際の決定論的関係に依存するようにPLMを動機付けている。
実験により, PLMは実知識の収集において, 良好な堅牢性が得られることが示された。
論文 参考訳（メタデータ） (2022-10-20T11:04:09Z) - PANDA: Prompt Transfer Meets Knowledge Distillation for Efficient Model Adaptation [89.0074567748505]
即時転送可能性(i)を正確に予測する新しい指標と,新しいPoTアプローチ(PANDA)を提案する。
提案手法は,各タスクおよびモデルサイズの平均スコアの2.3%(最大24.1%)でバニラPoTアプローチを一貫して上回り,その3。
論文 参考訳（メタデータ） (2022-08-22T09:14:14Z) - Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。
ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。
DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
論文 参考訳（メタデータ） (2022-05-23T10:11:50Z) - RuleBert: Teaching Soft Rules to Pre-trained Language Models [21.69870624809201]
そこで我々は, PLM が与えられた仮説の確率で予測を返すべき, 事実とソフトルールを前提とした分類タスクを導入する。
本研究では, PLM がタスクの正確な確率の予測方法を学習できるように改良された損失関数を提案する。
評価結果から,学習時に見つからない論理的ルールであっても,得られた微調整モデルは非常に高い性能が得られることが示された。
論文 参考訳（メタデータ） (2021-09-24T16:19:25Z) - M2P2: Multimodal Persuasion Prediction using Adaptive Fusion [65.04045695380333]
本稿では,ディベートアウトカム予測 (DOP) 問題において,誰が討論に勝つかを予測し,IPP (Intensity of Persuasion Prediction) 問題では,講演者の発言前後の投票数の変化を予測する。
我々のM2P2フレームワークはIPP問題を解決するためにマルチモーダル(音響、視覚、言語)データを使用した最初のフレームワークです。
論文 参考訳（メタデータ） (2020-06-03T18:47:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。