論文の概要: Mitigating Shortcuts in Language Models with Soft Label Encoding

• arxiv url: http://arxiv.org/abs/2309.09380v1
• Date: Sun, 17 Sep 2023 21:18:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 15:51:39.776275
• Title: Mitigating Shortcuts in Language Models with Soft Label Encoding
• Title（参考訳）: ソフトラベル符号化を用いた言語モデルのショートカット緩和
• Authors: Zirui He, Huiqi Deng, Haiyan Zhao, Ninghao Liu, Mengnan Du
• Abstract要約: 近年の研究では、大きな言語モデルは自然言語理解(NLU)タスクのデータに急激な相関に依存することが示されている。 我々は,ソフトラベル(Soft Label)という,シンプルで効果的な脱バイアスフレームワークを提案する。 2つのNLUベンチマークタスクの実験により、SoftLEは分布外一般化を大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 39.601442154096986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research has shown that large language models rely on spurious correlations in the data for natural language understanding (NLU) tasks. In this work, we aim to answer the following research question: Can we reduce spurious correlations by modifying the ground truth labels of the training data? Specifically, we propose a simple yet effective debiasing framework, named Soft Label Encoding (SoftLE). We first train a teacher model with hard labels to determine each sample's degree of relying on shortcuts. We then add one dummy class to encode the shortcut degree, which is used to smooth other dimensions in the ground truth label to generate soft labels. This new ground truth label is used to train a more robust student model. Extensive experiments on two NLU benchmark tasks demonstrate that SoftLE significantly improves out-of-distribution generalization while maintaining satisfactory in-distribution accuracy.
• Abstract（参考訳）: 近年の研究では、大きな言語モデルは自然言語理解(NLU)タスクのデータに急激な相関に依存することが示されている。 本研究では,トレーニングデータの基底的真理ラベルを変更することで,スプリアス相関を低減できるのか? 具体的には,ソフトラベル符号化(SoftLE)という,シンプルで効果的なデバイアス処理フレームワークを提案する。 まず教師モデルをハードラベルでトレーニングし,各サンプルがショートカットに依存する程度を判断する。 次に1つのダミークラスを追加して近道次数をエンコードし、基底真理ラベル内の他の次元を滑らかにしてソフトラベルを生成する。 新しいground truthラベルは、より堅牢な学生モデルのトレーニングに使用される。 2つのNLUベンチマークタスクに対する大規模な実験により、SoftLEは分布内精度を維持しながら分布外一般化を著しく改善することが示された。

関連論文リスト

• TnT-LLM: Text Mining at Scale with Large Language Models [24.731544646232962]
  大規模言語モデル(LLM)は、最小限の努力でエンドツーエンドのラベル生成と割り当てのプロセスを自動化する。 我々は,TnT-LLMが最先端のベースラインと比較した場合,より正確で関連性の高いラベルを生成することを示す。 また、現実のアプリケーションにおける大規模テキストマイニングにLLMを使うことの課題と機会に関する実践的経験と洞察を共有します。
  論文  参考訳（メタデータ） (2024-03-18T18:45:28Z)
• On-orbit model training for satellite imagery with label proportions [0.0]
  この研究は、軌道上のプラットフォーム上で教師付き機械学習またはディープラーニングモデルをトレーニングするという課題に対処する。 我々は、軌道上の宇宙船が画像を取得する際に、継続的に軽量モデルを訓練できるようにすることを目標としている。 また、軌道上でトレーニング中の予測タスクを洗練または変更するための新しいラベルも受け取っています。
  論文  参考訳（メタデータ） (2023-06-21T12:16:36Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Label Matching Semi-Supervised Object Detection [85.99282969977541]
  半教師対象検出は,教師主導型自己学習の開発において大きな進歩を遂げている。 ラベルミスマッチ問題は、以前の研究でまだ完全に解明されていないため、自己学習中に重大な確証バイアスが生じる。 本稿では,2つの異なる相補的視点から,単純かつ効果的な LabelMatch フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-14T05:59:41Z)
• Less Learn Shortcut: Analyzing and Mitigating Learning of Spurious Feature-Label Correlation [44.319739489968164]
  ディープニューラルネットワークは、タスクを理解するのではなく、意思決定をするためのショートカットとしてデータセットバイアスを取ることが多い。 本研究では,モデルがバイアスデータ分布から学習する単語特徴とラベルとの素早い相関に着目した。 本手法は, 偏りのある例と下級者の偏り度を定量的に評価する学習戦略である。
  論文  参考訳（メタデータ） (2022-05-25T09:08:35Z)
• Instance-Dependent Partial Label Learning [69.49681837908511]
  部分ラベル学習は、典型的には弱教師付き学習問題である。 既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。 本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
  論文  参考訳（メタデータ） (2021-10-25T12:50:26Z)
• Embracing Ambiguity: Shifting the Training Target of NLI Models [21.153381668435145]
  自然言語推論(NLI)タスクにおけるアノテータのラベル分布を推定する学習オプションについて検討する。 このデータを微調整すると,ChaosNLIの発散スコアを低減できることが示され,言語的曖昧さを捉えるための第一歩として期待できる。
  論文  参考訳（メタデータ） (2021-06-06T03:18:53Z)
• R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic Matching [58.72111690643359]
  文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。 最初にBERTを使用して、グローバルな視点から入力文をエンコードします。 次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。 関係情報抽出にラベルを十分に活用するために,関係分類タスクの自己教師付き関係性を導入する。
  論文  参考訳（メタデータ） (2020-12-16T13:11:30Z)
• Instance Credibility Inference for Few-Shot Learning [45.577880041135785]
  ほとんどショットラーニングは、カテゴリごとに非常に限られたトレーニングデータを持つ新しいオブジェクトを認識することを目的としていない。 本稿では,未ラベルのインスタンスの分散サポートを数発の学習に活用するために,ICI (Instance Credibility Inference) と呼ばれる単純な統計手法を提案する。 我々の単純なアプローチは、広く使われている4つのショットラーニングベンチマークデータセットに基づいて、最先端の新たなデータセットを確立することができる。
  論文  参考訳（メタデータ） (2020-03-26T12:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。