論文の概要: Embedding Hallucination for Few-Shot Language Fine-tuning

• arxiv url: http://arxiv.org/abs/2205.01307v1
• Date: Tue, 3 May 2022 04:55:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 13:47:40.926854
• Title: Embedding Hallucination for Few-Shot Language Fine-tuning
• Title（参考訳）: Few-Shot Language Fine-tuningのための埋め込み幻覚
• Authors: Yiren Jian and Chongyang Gao and Soroush Vosoughi
• Abstract要約: 本研究では,組込みラベルペアを生成する埋め込み幻覚(EmbedHalluc)法を提案する。 実験の結果,提案手法は様々な言語タスクに有効であり,現在の微調整法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 14.244787327283335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot language learners adapt knowledge from a pre-trained model to recognize novel classes from a few-labeled sentences. In such settings, fine-tuning a pre-trained language model can cause severe over-fitting. In this paper, we propose an Embedding Hallucination (EmbedHalluc) method, which generates auxiliary embedding-label pairs to expand the fine-tuning dataset. The hallucinator is trained by playing an adversarial game with the discriminator, such that the hallucinated embedding is indiscriminative to the real ones in the fine-tuning dataset. By training with the extended dataset, the language learner effectively learns from the diverse hallucinated embeddings to overcome the over-fitting issue. Experiments demonstrate that our proposed method is effective in a wide range of language tasks, outperforming current fine-tuning methods. Further, we show that EmbedHalluc outperforms other methods that address this over-fitting problem, such as common data augmentation, semi-supervised pseudo-labeling, and regularization. The code will be made available at: https://github.com/yiren-jian/EmbedHalluc.
• Abstract（参考訳）: 言語学習者は、事前訓練されたモデルから知識を適応させ、いくつかのラベル付き文から新しいクラスを認識する。 このような設定では、事前訓練された言語モデルの微調整が深刻なオーバーフィットを引き起こす可能性がある。 本稿では,細調整データセットを拡張するために補助埋め込みラベル対を生成する埋め込み幻覚(embedhalluc)法を提案する。 幻覚埋め込みは、微調整データセットの実際のものと無差別であるように、判別器と敵対ゲームをすることで、幻覚器を訓練する。 拡張データセットでトレーニングすることで、言語学習者は、過剰フィッティング問題を克服するために、多様な幻覚埋め込みから効果的に学習する。 実験により,提案手法は幅広い言語タスクにおいて有効であることを示し,現在の微調整法を上回っている。 さらに、embedhallucは、共通データ拡張、半教師付き擬似ラベル、正規化など、この過剰フィッティング問題に対処する他のメソッドよりも優れています。 コードは、https://github.com/yiren-jian/EmbedHalluc.comで入手できる。

関連論文リスト

• Pre-Training Multimodal Hallucination Detectors with Corrupted Grounding Data [4.636499986218049]
  マルチモーダル言語モデルは、その出力に幻覚を示し、信頼性を制限できる。 本稿では, 崩壊した地盤データを作成することにより, これらのモデルのサンプル効率を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-08-30T20:11:00Z)
• Multilingual Fine-Grained News Headline Hallucination Detection [40.62136051552646]
  複数言語できめ細かなニュース見出しの幻覚検出データセットについて紹介する。 このデータセットには5つの言語で1万以上のペアが含まれており、それぞれに専門家による詳細な幻覚タイプが注釈付けされている。 本稿では,言語に依存した実演選択と粗粒化プロンプトという2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T18:37:53Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
  OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。 私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。 この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
  論文  参考訳（メタデータ） (2023-11-29T18:57:07Z)
• Zero-Resource Hallucination Prevention for Large Language Models [45.4155729393135]
  ハロシン化(Hallucination)とは、大規模言語モデル(LLM)が事実的に不正確な情報を生成する事例を指す。 本稿では,SELF-FAMILIARITYと呼ばれる,入力命令に含まれる概念に対するモデルの親しみ度を評価する新しい自己評価手法を提案する。 4つの異なる大言語モデルでSELF-FAMILIARITYを検証し、既存の手法と比較して一貫して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-06T01:57:36Z)
• Reducing Hallucinations in Neural Machine Translation with Feature Attribution [54.46113444757899]
  本研究は,NMTにおける幻覚の軽減を目的としたモデル理解と正規化に着目したケーススタディである。 まず,幻覚を発生させるNMTモデルの振る舞いを研究するために,特徴帰属法を用いる。 次に、これらの手法を利用して、幻覚の低減に大きく貢献し、ゼロからモデルを再訓練する必要のない新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2022-11-17T20:33:56Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)
• TAVAT: Token-Aware Virtual Adversarial Training for Language Understanding [55.16953347580948]
  グラディエントベースの敵トレーニングは、ニューラルネットワークの堅牢性向上に広く利用されている。 埋め込み空間が離散であるため、自然言語処理タスクに容易に適応することはできない。 微粒な摂動を創り出すためのトークン認識仮想アドリアリトレーニング法を提案する。
  論文  参考訳（メタデータ） (2020-04-30T02:03:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。