論文の概要: From Lists to Emojis: How Format Bias Affects Model Alignment

• arxiv url: http://arxiv.org/abs/2409.11704v1
• Date: Wed, 18 Sep 2024 05:13:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 19:00:08.088722
• Title: From Lists to Emojis: How Format Bias Affects Model Alignment
• Title（参考訳）: リストから絵文字へ - バイアスがモデルアライメントにどのように影響するか
• Authors: Xuanchang Zhang, Wei Xiong, Lichang Chen, Tianyi Zhou, Heng Huang, Tong Zhang,
• Abstract要約: 人的フィードバックからの強化学習における形式バイアスについて検討する。 人間の評価者を含む多くの広く使われている嗜好モデルは、特定のフォーマットパターンに対して強いバイアスを示す。 バイアスデータが少ないと、報酬モデルにかなりのバイアスを注入できることを示す。
• 参考スコア（独自算出の注目度）: 67.08430328350327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study format biases in reinforcement learning from human feedback (RLHF). We observe that many widely-used preference models, including human evaluators, GPT-4, and top-ranking models on the RewardBench benchmark, exhibit strong biases towards specific format patterns, such as lists, links, bold text, and emojis. Furthermore, large language models (LLMs) can exploit these biases to achieve higher rankings on popular benchmarks like AlpacaEval and LMSYS Chatbot Arena. One notable example of this is verbosity bias, where current preference models favor longer responses that appear more comprehensive, even when their quality is equal to or lower than shorter, competing responses. However, format biases beyond verbosity remain largely underexplored in the literature. In this work, we extend the study of biases in preference learning beyond the commonly recognized length bias, offering a comprehensive analysis of a wider range of format biases. Additionally, we show that with a small amount of biased data (less than 1%), we can inject significant bias into the reward model. Moreover, these format biases can also be easily exploited by downstream alignment algorithms, such as best-of-n sampling and online iterative DPO, as it is usually easier to manipulate the format than to improve the quality of responses. Our findings emphasize the need to disentangle format and content both for designing alignment algorithms and evaluating models.
• Abstract（参考訳）: 本稿では,人間からのフィードバック(RLHF)による強化学習における形式バイアスについて検討する。 RewardBenchベンチマークでは、人間評価器、GPT-4、上位モデルなど、広く使われている多くの嗜好モデルが、リスト、リンク、大胆なテキスト、絵文字などの特定のフォーマットパターンに対して強いバイアスを示す。 さらに、大きな言語モデル(LLM)は、これらのバイアスを利用して、AlpacaEvalやLMSYS Chatbot Arenaといった一般的なベンチマークで上位にランクインすることができる。 この顕著な例は冗長性バイアス(英語版)であり、現在の嗜好モデルでは、短い競合する応答よりも品質が等しい場合であっても、より包括的に見えるより長い応答が好まれる。 しかし、冗長性を超えた形式バイアスは、文学においてほとんど未発見のままである。 本研究は、広く認識されている長さバイアスを超えて、嗜好学習におけるバイアスの研究を拡張し、より広い範囲のフォーマットバイアスを包括的に分析する。 さらに、少量のバイアスデータ(1%未満)で、報酬モデルにかなりのバイアスを注入できることを示す。 さらに、これらのフォーマットバイアスは、ベスト・オブ・nサンプリングやオンライン反復DPOといった下流アライメントアルゴリズムによって容易に利用することができる。 本研究は,アライメントアルゴリズムの設計とモデル評価の両面において,フォーマットとコンテンツをアンタングルする必要性を強調した。

関連論文リスト

• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Current Topological and Machine Learning Applications for Bias Detection in Text [4.799066966918178]
  本研究はRedditBiasデータベースを用いてテキストバイアスの分析を行う。 BERTおよびRoBERTaの変種を含む4つの変圧器モデルについて検討した。 発見によるとBERT、特にミニBERTはバイアス分類に優れており、多言語モデルは遅延している。
  論文  参考訳（メタデータ） (2023-11-22T16:12:42Z)
• It's All Relative: Interpretable Models for Scoring Bias in Documents [10.678219157857946]
  本稿では,テキストコンテンツのみに基づいて,Webドキュメントに存在するバイアスを評価するための解釈可能なモデルを提案する。 我々のモデルはBradley-Terryの公理を思わせる仮定を取り入れ、同じウィキペディアの記事の2つの修正に基づいて訓練されている。 我々は、訓練されたモデルのパラメータを解釈して、最も偏りを示す単語を見つけることができることを示す。
  論文  参考訳（メタデータ） (2023-07-16T19:35:38Z)
• Soft-prompt Tuning for Large Language Models to Evaluate Bias [0.03141085922386211]
  ソフトプロンプトを用いてバイアスを評価することで、人間のバイアス注入を避けるというメリットが得られます。 グループフェアネス(バイアス)を用いて、異なる感度属性のモデルバイアスをチェックし、興味深いバイアスパターンを見つけます。
  論文  参考訳（メタデータ） (2023-06-07T19:11:25Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。