論文の概要: Self Information Update for Large Language Models through Mitigating
Exposure Bias
- arxiv url: http://arxiv.org/abs/2305.18582v1
- Date: Mon, 29 May 2023 19:48:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 19:37:24.487175
- Title: Self Information Update for Large Language Models through Mitigating
Exposure Bias
- Title(参考訳): 露出バイアス緩和による大規模言語モデルの自己情報更新
- Authors: Pengfei Yu and Heng Ji
- Abstract要約: 本研究では,LLMにおける新たな自己情報更新タスクについて検討する。
LLMの露光バイアスが原因で, 連続的な微調整のナイーブな方法が問題となる可能性が示唆された。
トレーニング損失に関連事実の選択を組み込むことにより、露光バイアスを軽減する効果的な方法を提案する。
- 参考スコア(独自算出の注目度): 57.56083085412095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current LLMs have demonstrated remarkable capabilities in addressing users'
requests for various types of information. However, these models are limited by
the most recent data available in their pretraining corpora, rendering them
incapable of providing up-to-date information. Retraining LLMs from scratch is
cost-prohibitive, and the effectiveness of continual fine-tuning on new corpora
has not been thoroughly examined. Additionally, current update procedures
typically demand significant human input to prepare the information into more
structured format, such as knowledge triples, conversational data or responses
with human feedback. In this study, we conduct a comprehensive examination of a
novel self information update task in LLMs, which only requires the provision
of informative text corpora. For instance, we can use the latest news articles
to update the LLMs' existing knowledge. We define the self information update
task and assess the continual fine-tuning approach for this purpose. We observe
that the naive method of continual fine-tuning can be problematic due to LLMs'
exposure bias, which prioritizes existing information over new information we
aim to integrate and leads to incorrect reasoning chains that ultimately
diminish the efficacy of information updates. Based on our analysis, we propose
an effective method to mitigate exposure bias by incorporating the selection of
relevant facts into training losses. Furthermore, we develop a dataset to
evaluate information updates, derived from news articles published after March
2023. Experimental results demonstrate that our proposed approach significantly
increases the factual consistency score (0 to 1) by 0.16 while having minimal
impact on performance for instructions not directly related to the new
information.
- Abstract(参考訳): 現在のllmは、様々な種類の情報に対するユーザの要求に対処する際、顕著な能力を示している。
しかし、これらのモデルはトレーニング前のコーパスで利用可能な最新のデータによって制限され、最新の情報を提供することができない。
ゼロからLLMを調整することはコストを抑え、新しいコーパスに対する連続微調整の有効性を十分に検討していない。
さらに、現在の更新手順では、知識トリプル、会話データ、人的フィードバックによる応答といった、より構造化されたフォーマットで情報を作成するために、重要なヒューマンインプットを要求する。
本研究では,LLMにおける新たな自己情報更新タスクの包括的検討を行う。
例えば、最新のニュース記事を使用して、llmsの既存の知識を更新できます。
この目的のために,自己情報更新タスクを定義し,継続的な微調整手法を評価する。
我々は,情報更新の有効性を損なう不正確な推論連鎖を生じさせる新たな情報よりも既存の情報を優先する,llmsの露出バイアスにより,継続的な微調整のナイーブな手法が問題となる可能性があることを観察する。
そこで本研究では,学習損失に関連事実の選択を組み込むことにより,露光バイアスを軽減する効果的な手法を提案する。
さらに,2023年3月以降のニュース記事から得られた情報更新を評価するデータセットを開発した。
実験の結果,提案手法は,新たな情報に直接関連しない命令のパフォーマンスに最小限の影響を与えながら,事実整合性スコア(0~1)を0~0.16に向上させることを示した。
関連論文リスト
- Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳(メタデータ) (2024-04-04T15:36:53Z) - Analysis of the Reasoning with Redundant Information Provided Ability of
Large Language Models [0.0]
大きな言語モデル(LLM)は、さまざまな自然言語処理タスクにまたがる印象的な機能を示している。
このギャップに対処するため,Reasoning with Redundant Information Provided (RRIP) と呼ばれる新しいQAタスクが導入された。
本研究は,LlaMA2-13B-chatとGPT-3.5 (generative pre-trained transformer 3.5)の2つのLLMを評価し,従来のQAタスクとRRIPタスクとの対比を行った。
論文 参考訳(メタデータ) (2023-10-06T06:20:06Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳(メタデータ) (2023-08-23T12:36:57Z) - Benchmarking Faithfulness: Towards Accurate Natural Language
Explanations in Vision-Language Tasks [0.0]
自然言語の説明(NLE)は、モデルの意思決定を容易に理解可能な方法でコミュニケーション可能にすることを約束する。
現在のモデルは説得力のある説明をうまく生成するが、NLEが実際にモデルの推論過程をいかにうまく表現しているかは未解決の問題である。
帰属相似性(Atribution-Similarity)、NLE-Sufficiency(NLE-Sufficiency)、NLE-Comprehensiveness(NLE-Comprehensiveness)の3つの忠実度指標を提案する。
論文 参考訳(メタデータ) (2023-04-03T08:24:10Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - An Information-Theoretic Framework for Unifying Active Learning Problems [44.758281991246825]
本稿では,アクティブラーニング問題を統合するための情報理論的枠組みを提案する。
まず、既存のLSEアルゴリズムを推定する新しいアクティブ学習基準を紹介します。
LSEとBOの関係を利用して、BOのための競合情報理論獲得関数を設計する。
論文 参考訳(メタデータ) (2020-12-19T14:22:48Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。