論文の概要: PURR: Efficiently Editing Language Model Hallucinations by Denoising Language Model Corruptions

• arxiv url: http://arxiv.org/abs/2305.14908v1
• Date: Wed, 24 May 2023 08:59:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 17:53:18.390921
• Title: PURR: Efficiently Editing Language Model Hallucinations by Denoising Language Model Corruptions
• Title（参考訳）: PURR: 言語モデル破壊を通知する言語モデル幻覚を効果的に編集する
• Authors: Anthony Chen, Panupong Pasupat, Sameer Singh, Hongrae Lee and Kelvin Guu
• Abstract要約: 我々は、大言語モデルの力を利用して、テキストに汚職を導入します。 関係する証拠を取り入れることで、汚職を軽視するコンパクトエディターを微調整する。 我々の方法論は完全に教師なしであり、あらゆる領域でのトレーニングのための偽の幻覚を与えてくれる。
• 参考スコア（独自算出の注目度）: 45.95524860490952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The remarkable capabilities of large language models have been accompanied by a persistent drawback: the generation of false and unsubstantiated claims commonly known as "hallucinations". To combat this issue, recent research has introduced approaches that involve editing and attributing the outputs of language models, particularly through prompt-based editing. However, the inference cost and speed of using large language models for editing currently bottleneck prompt-based methods. These bottlenecks motivate the training of compact editors, which is challenging due to the scarcity of training data for this purpose. To overcome these challenges, we exploit the power of large language models to introduce corruptions (i.e., noise) into text and subsequently fine-tune compact editors to denoise the corruptions by incorporating relevant evidence. Our methodology is entirely unsupervised and provides us with faux hallucinations for training in any domain. Our Petite Unsupervised Research and Revision model, PURR, not only improves attribution over existing editing methods based on fine-tuning and prompting, but also achieves faster execution times by orders of magnitude.
• Abstract（参考訳）: 大規模な言語モデルの顕著な能力には永続的な欠点が伴っている。 この問題に対処するため、最近の研究では、特にプロンプトベースの編集を通して、言語モデルの出力を編集し、貢献するアプローチを導入している。 しかし、大規模な言語モデルを編集するために使用する推論コストと速度は現在、プロンプトベースのメソッドをボトルネックにしている。 これらのボトルネックは、コンパクトなエディタのトレーニングを動機付けている。 これらの課題を克服するために、我々は大規模な言語モデルの力を利用して、テキストに汚職(すなわちノイズ)を導入し、その後、微調整されたコンパクトエディターを使って、関連する証拠を取り入れて汚職を軽視する。 我々の方法論は完全に教師なしであり、あらゆる領域でのトレーニングのための偽の幻覚を与えてくれる。 我々のPetite Unsupervised Research and RevisionモデルであるPURRは、微調整とプロンプトに基づく既存の編集方法に対する属性の改善だけでなく、桁違いに高速な実行時間を実現する。

関連論文リスト

• Should We Really Edit Language Models? On the Evaluation of Edited Language Models [15.63231238452797]
  既存の編集手法は、一般的なベンチマークで必然的にパフォーマンスが低下する。 インストラクションチューニングされたモデルは、編集がより堅牢で、編集後の一般的な知識に対するパフォーマンス低下が少ない。 その結果,現在の編集手法は,言語モデル内の小規模な知識更新にのみ適していることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T14:36:48Z)
• Mitigating Large Language Model Hallucination with Faithful Finetuning [46.33663932554782]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 彼らは「幻覚」として知られる、流動的で不合理な反応を生み出す傾向にある
  論文  参考訳（メタデータ） (2024-06-17T07:16:07Z)
• MPN: Leveraging Multilingual Patch Neuron for Cross-lingual Model Editing [10.81072864833299]
  本稿では,多言語パッチニューロンを訓練し,言語間知識を蓄積する簡易かつ効果的な方法を提案する。 既存のアプローチに容易に適応して、言語間編集機能を強化することができる。
  論文  参考訳（メタデータ） (2024-01-06T10:40:24Z)
• DUnE: Dataset for Unified Editing [3.7346004746366384]
  自然言語文を編集するDUnE-an編集ベンチマークを導入する。 検索強化言語モデリングは、特殊な編集技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-27T18:56:14Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• CORE: A Retrieve-then-Edit Framework for Counterfactual Data Generation [91.16551253297588]
  Counterfactual Generation via Retrieval and Editing (CORE) は、トレーニングのための多様な反事実摂動を生成するための検索強化された生成フレームワークである。 COREはまず、学習されたバイエンコーダを用いて、タスク関連未ラベルテキストコーパス上で密集した検索を行う。 COREはこれらを、反ファクト編集のために、数ショットの学習機能を備えた大規模な言語モデルへのプロンプトに組み込む。
  論文  参考訳（メタデータ） (2022-10-10T17:45:38Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Transcribing Natural Languages for The Deaf via Neural Editing Programs [84.0592111546958]
  本研究の目的は,難聴者コミュニティのための自然言語文の書き起こしを目的とし,手話の発声を指示するグロス化の課題について検討することである。 以前のシーケンス・ツー・シーケンス言語モデルは、しばしば2つの異なる言語間の豊かな関係を捉えず、不満足な書き起こしにつながる。 異なる文法に拘わらず,単語の大部分を文と共有しながら,難聴コミュニケーションの容易な文を効果的に単純化することが観察された。
  論文  参考訳（メタデータ） (2021-12-17T16:21:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。