論文の概要: Teacher-Student Training for Debiasing: General Permutation Debiasing for Large Language Models

• arxiv url: http://arxiv.org/abs/2403.13590v1
• Date: Wed, 20 Mar 2024 13:38:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 16:47:59.789316
• Title: Teacher-Student Training for Debiasing: General Permutation Debiasing for Large Language Models
• Title（参考訳）: 抑揚のための教師-学生訓練:大規模言語モデルのための汎用的置換脱バイアス
• Authors: Adian Liusie, Yassir Fathullah, Mark J. F. Gales,
• Abstract要約: 大規模言語モデル(LLM)は、NLPタスクにおいて、印象的なゼロショット機能と汎用性を実証している。 特定のタスクに対して重要な不変性を維持するのに失敗することもある。 本稿では, 推定時の非効率性について述べる。
• 参考スコア（独自算出の注目度）: 39.82130327284791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive zero-shot capabilities and versatility in NLP tasks, however they sometimes fail to maintain crucial invariances for specific tasks. One example is permutation sensitivity, where LLMs' outputs may significantly vary depending on the order of the input options. While debiasing techniques can mitigate these issues, and yield better performance and reliability, they often come with a high computational cost at inference. This paper addresses this inefficiency at inference time. The aim is to distill the capabilities of a computationally intensive, debiased, teacher model into a more compact student model. We explore two variants of student models: one based on pure distillation, and the other on an error-correction approach for more complex tasks, where the student corrects a single biased decision from the teacher to achieve a debiased output. Our approach is general and can be applied to both black-box and white-box LLMs. Furthermore, we demonstrate that our compact, encoder-only student models can outperform their larger, biased teacher counterparts, achieving better results with significantly fewer parameters.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、NLPタスクにおいて印象的なゼロショット機能と汎用性を実証しているが、特定のタスクに対して重要な不変性を維持できないことがある。 例えば、置換感度(permutation sensitivity)では、LSMの出力は入力オプションの順序によって大きく異なる可能性がある。 デバイアス技術はこれらの問題を緩和し、より良い性能と信頼性をもたらすが、推論において高い計算コストが伴うことが多い。 本稿では, 推定時の非効率性について述べる。 目的は、計算集約的で偏った教師モデルの能力を、よりコンパクトな学生モデルに融合させることである。 学生モデルの2つの変種について検討する: 1つは純粋蒸留に基づくものであり、もう1つはより複雑なタスクに対する誤り訂正アプローチである。 我々のアプローチは一般的であり、ブラックボックスとホワイトボックスの両方に適用できる。 さらに、我々のコンパクトなエンコーダのみの学生モデルが、より大きく偏りのある教師モデルよりも優れており、パラメータが大幅に少ない結果が得られることを示した。

関連論文リスト

• SuperCorrect: Supervising and Correcting Language Models with Error-Driven Insights [89.56181323849512]
  より小規模な学生モデルの推論と反映の両方を教師モデルを用いて監督し,修正するフレームワークであるSuperCorrectを提案する。 第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。 第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2024-10-11T17:25:52Z)
• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• BiasDPO: Mitigating Bias in Language Models through Direct Preference Optimization [0.0]
  大規模言語モデル(LLM)は、自然言語処理の進歩において重要な役割を担っているが、バイアスの持続可能性には重大な懸念がある。 本稿では、英語テキストにおけるジェンダー、人種、宗教的偏見を緩和するために、DPO(Direct Preference Optimization)を用いた新しい枠組みを提案する。 バイアスのある完了よりもバイアスの少ない損失関数を開発することで、我々のアプローチは敬意と非差別的な言語を好む。
  論文  参考訳（メタデータ） (2024-07-18T22:32:20Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• COBias and Debias: Minimizing Language Model Pairwise Accuracy Bias via Nonlinear Integer Programming [12.287692969438169]
  文脈バイアス(COBias)として再認識することで、クラスごとの予測精度における言語モデルの不均衡に取り組む。 我々は非線形整数計画法(NIP)に初めて取り組んだ。 DNIPは従来のICL法に比べてCOBiasの削減と精度の向上を同時に達成する。
  論文  参考訳（メタデータ） (2024-05-13T10:30:33Z)
• Improving In-context Learning via Bidirectional Alignment [41.214003703218914]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、多くのタスクにおいて印象的な数ショットの一般化を示している。 我々は,学生モデルのICL能力を向上させるために,ICL事例に対するモデルの嗜好を十分に活用するための双方向アライメント(Bidirectional Alignment, BiAlign)を提案する。 具体的には、新しいランキング損失を取り入れることで、学生と教師のモデル間の入力好みのアライメントを導入する。
  論文  参考訳（メタデータ） (2023-12-28T15:02:03Z)
• Multitask Learning Can Improve Worst-Group Outcomes [76.92646345152788]
  マルチタスク学習(MTL)は、そのような広く使われている技法の一つである。 我々は,共同マルチタスク表現空間を正規化することにより,標準MTLを変更することを提案する。 正規化MTLアプローチは,平均群と最低群の両方でJTTを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-05T21:38:24Z)
• Less is More -- Towards parsimonious multi-task models using structured sparsity [4.874780144224057]
  この作業は、パラメータが少ない複数のタスクに最適化されたスパースモデルを作成することに焦点を当てている。 マルチタスク学習モデルの共有畳み込み層パラメータ(あるいは重み付け)にチャネルワイズl1/l2グループ間隔を導入する。 広範に使用されている2つのマルチタスク学習(MTL)データセットにおいて,シングルタスクとマルチタスク設定の両方においてグループ間隔が生じた結果を分析した。
  論文  参考訳（メタデータ） (2023-08-23T13:09:03Z)
• When in Doubt, Summon the Titans: Efficient Inference with Large Models [80.2673230098021]
  本稿では,大規模モデルのモデル化の利点を実現する蒸留に基づく2段階の枠組みを提案する。 簡単な"例のサブセットでのみ正確な予測を行うために、私たちは、大きな教師モデルを使用して、軽量な学生モデルをガイドします。 提案した蒸留法は, 簡単な事例のみを扱うため, 学生規模でより積極的なトレードオフが可能であり, 推論の償却コストを低減できる。
  論文  参考訳（メタデータ） (2021-10-19T22:56:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。