論文の概要: PURR: Efficiently Editing Language Model Hallucinations by Denoising
Language Model Corruptions
- arxiv url: http://arxiv.org/abs/2305.14908v1
- Date: Wed, 24 May 2023 08:59:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 17:53:18.390921
- Title: PURR: Efficiently Editing Language Model Hallucinations by Denoising
Language Model Corruptions
- Title(参考訳): PURR: 言語モデル破壊を通知する言語モデル幻覚を効果的に編集する
- Authors: Anthony Chen, Panupong Pasupat, Sameer Singh, Hongrae Lee and Kelvin
Guu
- Abstract要約: 我々は、大言語モデルの力を利用して、テキストに汚職を導入します。
関係する証拠を取り入れることで、汚職を軽視するコンパクトエディターを微調整する。
我々の方法論は完全に教師なしであり、あらゆる領域でのトレーニングのための偽の幻覚を与えてくれる。
- 参考スコア(独自算出の注目度): 45.95524860490952
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The remarkable capabilities of large language models have been accompanied by
a persistent drawback: the generation of false and unsubstantiated claims
commonly known as "hallucinations". To combat this issue, recent research has
introduced approaches that involve editing and attributing the outputs of
language models, particularly through prompt-based editing. However, the
inference cost and speed of using large language models for editing currently
bottleneck prompt-based methods. These bottlenecks motivate the training of
compact editors, which is challenging due to the scarcity of training data for
this purpose. To overcome these challenges, we exploit the power of large
language models to introduce corruptions (i.e., noise) into text and
subsequently fine-tune compact editors to denoise the corruptions by
incorporating relevant evidence. Our methodology is entirely unsupervised and
provides us with faux hallucinations for training in any domain. Our Petite
Unsupervised Research and Revision model, PURR, not only improves attribution
over existing editing methods based on fine-tuning and prompting, but also
achieves faster execution times by orders of magnitude.
- Abstract(参考訳): 大規模な言語モデルの顕著な能力には永続的な欠点が伴っている。
この問題に対処するため、最近の研究では、特にプロンプトベースの編集を通して、言語モデルの出力を編集し、貢献するアプローチを導入している。
しかし、大規模な言語モデルを編集するために使用する推論コストと速度は現在、プロンプトベースのメソッドをボトルネックにしている。
これらのボトルネックは、コンパクトなエディタのトレーニングを動機付けている。
これらの課題を克服するために、我々は大規模な言語モデルの力を利用して、テキストに汚職(すなわちノイズ)を導入し、その後、微調整されたコンパクトエディターを使って、関連する証拠を取り入れて汚職を軽視する。
我々の方法論は完全に教師なしであり、あらゆる領域でのトレーニングのための偽の幻覚を与えてくれる。
我々のPetite Unsupervised Research and RevisionモデルであるPURRは、微調整とプロンプトに基づく既存の編集方法に対する属性の改善だけでなく、桁違いに高速な実行時間を実現する。
関連論文リスト
- Is it Possible to Edit Large Language Models Robustly? [60.36021686516329]
大型言語モデル(LLM)は、人間の振る舞いを模倣するコミュニケーションAIを構築する上で重要な役割を担っている。
近年の研究では、言語モデルの特定の記憶を操作し、関連する言語生成を変更するモデル編集の領域を掘り下げている。
この研究は、編集方法の強みと限界を理解し、コミュニケーションAIの堅牢で現実的な応用を促進する。
論文 参考訳(メタデータ) (2024-02-08T17:06:45Z) - MPN: Leveraging Multilingual Patch Neuron for Cross-lingual Model
Editing [10.81072864833299]
本稿では,多言語パッチニューロンを訓練し,言語間知識を蓄積する簡易かつ効果的な方法を提案する。
既存のアプローチに容易に適応して、言語間編集機能を強化することができる。
論文 参考訳(メタデータ) (2024-01-06T10:40:24Z) - DUnE: Dataset for Unified Editing [3.7346004746366384]
自然言語文を編集するDUnE-an編集ベンチマークを導入する。
検索強化言語モデリングは、特殊な編集技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-11-27T18:56:14Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳(メタデータ) (2023-11-14T18:59:15Z) - Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。
我々は,単語順序の重要性を維持するために強制的無効化を提案する。
実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-04-11T13:42:10Z) - Improving Pre-trained Language Model Fine-tuning with Noise Stability
Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。
具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。
提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-12T04:42:49Z) - Internet-augmented language models through few-shot prompting for
open-domain question answering [6.573232954655063]
私たちは、大規模な言語モデルによって提供されるユニークないくつかのショット機能を活用して、いくつかの課題を克服しています。
Google Searchを使って、ウェブから返された情報に対して言語モデルを条件付けるために、数発のプロンプトを使用します。
ウェブ上で条件付けされた言語モデルは、オープンドメイン質問応答において、類似またはそれ以上のモデルサイズを持つクローズドブックモデルの性能を上回ることが判明した。
論文 参考訳(メタデータ) (2022-03-10T02:24:14Z) - Transcribing Natural Languages for The Deaf via Neural Editing Programs [84.0592111546958]
本研究の目的は,難聴者コミュニティのための自然言語文の書き起こしを目的とし,手話の発声を指示するグロス化の課題について検討することである。
以前のシーケンス・ツー・シーケンス言語モデルは、しばしば2つの異なる言語間の豊かな関係を捉えず、不満足な書き起こしにつながる。
異なる文法に拘わらず,単語の大部分を文と共有しながら,難聴コミュニケーションの容易な文を効果的に単純化することが観察された。
論文 参考訳(メタデータ) (2021-12-17T16:21:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。