論文の概要: Exploiting Primacy Effect To Improve Large Language Models
- arxiv url: http://arxiv.org/abs/2507.13949v1
- Date: Fri, 18 Jul 2025 14:18:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-21 20:43:26.31222
- Title: Exploiting Primacy Effect To Improve Large Language Models
- Title（参考訳）: 大規模言語モデルを改善するためのプライマリ効果のエクスプロイト
- Authors: Bianca Raimondi, Maurizio Gabbrielli,
- Abstract要約: 本研究は, 微調整大言語モデル(LLM)における予備性バイアスに着目した。
まず最初に、微調整によってこのバイアスが増幅されることを示しました。
我々は、正しい回答の知識を必要とせず、クエリのセマンティックな類似性に基づいて応答オプションを並べ替えることで、この効果を戦略的に活用する。
- 参考スコア（独自算出の注目度）: 1.03590082373586
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) have become essential in many Natural Language Processing (NLP) tasks, leveraging extensive pre-training and fine-tuning to achieve high accuracy. However, like humans, LLMs exhibit biases, particularly positional biases such as primacy and recency effects, which can influence the accuracy of the answers. The primacy effect-where items presented first are more likely to be remembered or selected-plays a key role in Multiple Choice Question Answering (MCQA), where the order of answer options can affect prediction outcomes. This study focuses on primacy bias in fine-tuned LLMs: We first show that fine-tuning amplifies this bias, probably due to exposure to human-like patterns. Hence, we strategically leverage this effect by reordering response options based on semantic similarity to the query, without requiring knowledge of the correct answer. Our experimental results show that this approach significantly improves performance in MCQA. More generally, our findings underscore the dual nature of biases as both challenges and opportunities, offering insights for bias-aware model design and NLP applications.
- Abstract（参考訳）: 大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクにおいて必須となり、広範囲な事前学習と微調整を活用して高い精度を実現している。
しかし、人間と同様、LSMも偏見を示し、特に優位性や再発の影響などの位置バイアスは答えの正確性に影響を与える可能性がある。
最初に提示されるプライマリ・エフェクトの項目は、より記憶されるか、選択される傾向があり、複数の選択質問回答(MCQA)において重要な役割を担い、答えの順序が予測結果に影響を与える可能性がある。
我々はまず、微調整によってこのバイアスが増幅されることを示す。
したがって、正しい回答の知識を必要とせず、クエリのセマンティックな類似性に基づいて応答オプションを並べ替えることで、この効果を戦略的に活用する。
実験の結果,MCQAの性能は有意に向上した。
より一般的には、バイアスの二重性は課題と機会の両方であり、バイアスを考慮したモデル設計とNLPアプリケーションに対する洞察を提供する。
関連論文リスト
- Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。
当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。
本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
論文 参考訳（メタデータ） (2024-10-10T16:01:51Z) - LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。
以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
論文 参考訳（メタデータ） (2024-07-02T22:23:40Z) - Serial Position Effects of Large Language Models [29.111115148808196]
大規模言語モデル(LLM)は、ゼロショット学習アプリケーションにおいて顕著な能力を示している。
これは、従来の機械学習アプローチから大きく離れている。
これまでの研究では、LSMはプライマリシーやリレーシーバイアスのような連続的な位置効果を示す可能性があることが示されている。
論文 参考訳（メタデータ） (2024-06-23T02:02:52Z) - A First Look at Selection Bias in Preference Elicitation for Recommendation [64.44255178199846]
選好選好における選好バイアスの影響について検討した。
大きなハードルは、好みの推論インタラクションを持つ公開データセットがないことです。
本稿では,トピックに基づく選好提案プロセスのシミュレーションを提案する。
論文 参考訳（メタデータ） (2024-05-01T14:56:56Z) - Debiasing Multimodal Large Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳（メタデータ） (2024-03-08T12:35:07Z) - Aligning Large Language Models by On-Policy Self-Judgment [49.31895979525054]
大規模言語モデルと人間の嗜好を整合させる既存のアプローチは、オンライン学習のために別々の報酬モデル(RM)を必要とするトレードオフに直面しています。
本稿では,オンライン学習を行う新たなアライメントフレームワークSELF-JUDGEを提案する。
また, さらなる評価を行なわずに, サンプリング自体がさらなる性能向上に寄与することを示した。
論文 参考訳（メタデータ） (2024-02-17T11:25:26Z) - Reducing Selection Bias in Large Language Models [0.0]
大規模言語モデル(LLM)は意味的タスクの解釈と実行に不可欠である。
本研究は、これらのバイアスを批判的に検討し、代表リスト選択タスクへの影響を定量化する。
論文 参考訳（メタデータ） (2024-01-29T15:43:23Z) - HANS, are you clever? Clever Hans Effect Analysis of Neural Systems [1.6267479602370545]
大規模言語モデル(It-LLM)は、認知状態、意図、そしてすべての人々の反応を推論する優れた能力を示しており、人間は日々の社会的相互作用を効果的にガイドし理解することができる。
モデル能力の確固たる評価を構築するために、MCQ(Multiple-choice Question)ベンチマークがいくつか提案されている。
しかし、初期の研究は、I-LLMに固有の「順序バイアス」があることを示しており、適切な評価に挑戦している。
論文 参考訳（メタデータ） (2023-09-21T20:52:18Z) - Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳（メタデータ） (2023-09-07T17:44:56Z) - Large Language Models Sensitivity to The Order of Options in
Multiple-Choice Questions [5.187383020960245]
大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な機能を示した。
これまでの研究では、これらのモデルが素早い言葉の表現に敏感であること、そして数発のデモとその順序が示されている。
本稿では,複数質問における選択肢の順序に対するLLMの感度について検討する。
論文 参考訳（メタデータ） (2023-08-22T14:54:59Z) - An Empirical Study on the Language Modal in Visual Question Answering [31.692905677913068]
ドメイン内エクスペリエンスからアウト・オブ・ディストリビューションデータへの一般化は、AIドメインにおいて最重要事項である。
本稿では,VQAの性能に及ぼす言語モダリティの影響について,新たな知見を提供する。
論文 参考訳（メタデータ） (2023-05-17T11:56:40Z) - Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。
CPRは、露出メカニズムを知らずに不偏の推奨を達成する。
理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
論文 参考訳（メタデータ） (2022-04-26T09:20:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。