論文の概要: Mitigating Copy Bias in In-Context Learning through Neuron Pruning

• arxiv url: http://arxiv.org/abs/2410.01288v1
• Date: Thu, 3 Oct 2024 07:13:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 21:59:16.090042
• Title: Mitigating Copy Bias in In-Context Learning through Neuron Pruning
• Title（参考訳）: ニューロン切断による文脈学習におけるコピーバイアスの緩和
• Authors: Ameen Ali, Lior Wolf, Ivan Titov,
• Abstract要約: 大規模言語モデル(LLM)は、コンテキスト内学習能力に目を見張るものはほとんどない。 それらは、基礎となるパターンを学ぶ代わりに、提供された例から回答をコピーする。 このような複写バイアスを軽減するための,新しい簡易な手法を提案する。
• 参考スコア（独自算出の注目度）: 74.91243772654519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated impressive few-shot in-context learning (ICL) abilities. Still, we show that they are sometimes prone to a `copying bias', where they copy answers from provided examples instead of learning the underlying patterns. In this work, we propose a novel and simple method to mitigate such copying bias. First, we create a synthetic task and use the Integrated Gradients method to identify neurons that prioritize copying over generalization. We demonstrate that pruning these neurons consistently improves performance across a diverse set of ICL tasks. We also show that our method is applicable across various LLM architectures, including Transformers and State-Space Models, without requiring modifications. In our analysis, we adopt a task-recognition perspective on ICL and examine task vectors (Hendel et al., 2023) induced by the model. We find that pruning enhances the quality of these vectors, suggesting that the pruned neurons previously hindered effective task recognition.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、ICL(In-context Learning) 能力に目を見張るものはほとんどない。 それでも、それらが時に‘コピーバイアス’を起こしやすいことを示します。そこでは、基礎となるパターンを学ぶ代わりに、提供された例から回答をコピーします。 本研究では,このような複写バイアスを緩和する新規かつ簡便な手法を提案する。 まず、我々は合成タスクを作成し、一般化よりもコピーを優先するニューロンを識別するために統合勾配法を用いる。 我々は、これらのニューロンを切断することで、多種多様なICLタスクにおけるパフォーマンスが一貫して向上することを示した。 また,本手法は変換器や状態空間モデルなど,様々なLLMアーキテクチャに適用可能であることを示す。 本分析では、ICLにおけるタスク認識の視点を採用し、モデルによって誘導されるタスクベクトル(Hendel et al , 2023)について検討する。 プルーニングはこれらのベクターの品質を高めることが分かり、プルーニングされたニューロンが以前、効果的なタスク認識を妨げていたことが示唆された。

関連論文リスト

• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
  本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。 1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。 提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-02-02T09:33:07Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Explaining the Effectiveness of Multi-Task Learning for Efficient Knowledge Extraction from Spine MRI Reports [2.5953185061765884]
  一つのマルチタスクモデルがタスク固有のモデルの性能にマッチすることを示す。 内科医による頚椎, 腰椎への注視所見について検討した。
  論文  参考訳（メタデータ） (2022-05-06T01:51:19Z)
• Towards Sample-efficient Overparameterized Meta-learning [37.676063120293044]
  機械学習における包括的なゴールは、少数のサンプルで一般化可能なモデルを構築することである。 本稿ではメタラーニングにおけるパラメータ化の克服を目的とする。 最適表現の学習はタスク認識正規化を設計する問題と一致することを示す。
  論文  参考訳（メタデータ） (2022-01-16T21:57:17Z)
• Learning Invariant Representation for Continual Learning [5.979373021392084]
  継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。 連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。 共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
  論文  参考訳（メタデータ） (2021-01-15T15:12:51Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。