論文の概要: Calibrating Factual Knowledge in Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2210.03329v1
• Date: Fri, 7 Oct 2022 05:14:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 13:50:50.493130
• Title: Calibrating Factual Knowledge in Pretrained Language Models
• Title（参考訳）: 事前学習言語モデルにおけるファクチュアル知識の校正
• Authors: Qingxiu Dong, Damai Dai, Yifan Song, Jingjing Xu, Zhifang Sui and Lei Li
• Abstract要約: 本稿では,PLMにおける事実知識をスクラッチから再学習することなくキャリブレーションする,シンプルで軽量なCaliNet法を提案する。 知識探索タスクの実験では、校正の有効性と効率が示されている。 さらに,知識キャリブレーション機構の解明と可視化を行う。
• 参考スコア（独自算出の注目度）: 36.4692831966626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous literature has proved that Pretrained Language Models (PLMs) can store factual knowledge. However, we find that facts stored in the PLMs are not always correct. It motivates us to explore a fundamental question: How do we calibrate factual knowledge in PLMs without re-training from scratch? In this work, we propose a simple and lightweight method CaliNet to achieve this goal. To be specific, we first detect whether PLMs can learn the right facts via a contrastive score between right and fake facts. If not, we then use a lightweight method to add and adapt new parameters to specific factual texts. Experiments on the knowledge probing task show the calibration effectiveness and efficiency. In addition, through closed-book question answering, we find that the calibrated PLM possesses knowledge generalization ability after fine-tuning. Beyond the calibration performance, we further investigate and visualize the knowledge calibration mechanism.
• Abstract（参考訳）: 以前の文献では、事前学習言語モデル(PLM)が事実知識を格納できることが証明されている。 しかし、PLMに格納されている事実は必ずしも正しいとは限らない。 PLMにおける事実知識を、スクラッチから再トレーニングすることなく、どのように調整すればよいのか? 本研究では,この目的を達成するためのシンプルで軽量なCaliNetを提案する。 具体的には、まず、正しい事実と偽事実の対比スコアを用いて、PLMが正しい事実を学習できるかどうかを検出する。 そうでない場合は、軽量メソッドを使用して、特定の事実テキストに新しいパラメータを追加し、適応します。 知識探索タスクの実験は校正の有効性と効率を示す。 さらに,クローズドブック質問応答により,校正されたplmは,微調整後の知識汎化能力を有することがわかった。 キャリブレーション性能以外にも,知識キャリブレーション機構をさらに調査し,可視化する。

関連論文リスト

• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• The Queen of England is not England's Queen: On the Lack of Factual Coherency in PLMs [2.9443699603751536]
  プレトレーニング言語モデル(PLM)に符号化された実知識は、それらの表現を豊かにし、知識ベースとしての使用を正当化する。 これまでの研究は、被験者と関係が与えられたオブジェクトエンティティを正確に予測できる頻度を測定することによって、事実知識のためのPLMの探索に重点を置いてきた。 本研究では、PLMにおける事実的知識の一貫性、すなわち、オブジェクトエンティティの初期予測から、PLMが対象エンティティをどの程度の頻度で予測できるかという相補的な側面について考察する。
  論文  参考訳（メタデータ） (2024-02-02T14:42:09Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• Measuring and Modifying Factual Knowledge in Large Language Models [2.8427946758947304]
  大規模言語モデルは、膨大なテキストコレクションから得られた膨大な事実知識を格納する。 我々は,情報理論に基づく測度を用いて,大規模言語モデルに含まれる事実知識を推定する枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-09T21:25:48Z)
• Can We Edit Factual Knowledge by In-Context Learning? [38.2498067309258]
  In-context knowledge editing (IKE) は勾配に基づく手法と比較して競争的な成功率を達成する。 IKEは、類似の事実や無関係な事実に対する過度な編集を減らし、従来記憶されていた知識を忘れる知識を減らしていることを示す。
  論文  参考訳（メタデータ） (2023-05-22T06:07:58Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。