論文の概要: Mitigating Selection Bias with Node Pruning and Auxiliary Options

• arxiv url: http://arxiv.org/abs/2409.18857v2
• Date: Sat, 17 May 2025 04:21:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.241628
• Title: Mitigating Selection Bias with Node Pruning and Auxiliary Options
• Title（参考訳）: ノードプルーニングと補助オプションによる選択バイアスの緩和
• Authors: Hyeong Kyu Choi, Weijie Xu, Chi Xue, Stephanie Eckman, Chandan K. Reddy,
• Abstract要約: 大規模言語モデル(LLM)は、複数の質問に応答するときに、特定の回答の選択を体系的に選好することが多い。 このバイアスは、LCM出力の精度と信頼性を低下させ、決定クリティカルなアプリケーションにおけるそれらの有用性を制限する。 選択バイアスに寄与するパラメータを抽出するBias Node Pruning(BNP)と、ホワイトボックスとブラックボックスの設定の両方でバイアスを減らすためのAuxiliary Option Injection(AOI)の2つの方法を紹介する。
• 参考スコア（独自算出の注目度）: 11.835002896308545
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) often exhibit systematic preferences for certain answer choices when responding to multiple-choice questions-a behavior known as selection bias. This bias reduces the accuracy and reliability of LLM outputs, limiting their usefulness in decision-critical applications. While prior work has focused on adjusting model inputs or outputs to mitigate this issue, our work takes a fundamentally different approach by identifying and removing the internal sources of bias. We introduce two methods: Bias Node Pruning (BNP), which prunes parameters that contribute to selection bias, and Auxiliary Option Injection (AOI), which introduces an additional answer choice to reduce bias in both white-box and black-box settings. To address the shortcomings of existing evaluation metrics, we propose Choice Kullback-Leibler Divergence (CKLD), a new metric that captures distributional imbalances in model predictions. Experiments on three LLMs across multiple datasets demonstrate that our methods consistently improve answer accuracy while reducing selection bias, providing a robust solution for both open- and closed-source models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、選択バイアスとして知られる複数の質問に応答するときに、特定の回答の選択を体系的に選好することが多い。 このバイアスは、LCM出力の精度と信頼性を低下させ、決定クリティカルなアプリケーションにおけるそれらの有用性を制限する。 これまでの作業では、この問題を軽減するためにモデル入力やアウトプットを調整することに注力していましたが、私たちの作業は、内部のバイアス源を特定して取り除くことで、根本的に異なるアプローチを取っています。 BNP(Bias Node Pruning)とAOI(Auxiliary Option Injection)の2つの手法を導入し、ホワイトボックスとブラックボックスの設定の両方においてバイアスを減らすための追加の回答選択を導入する。 既存の評価指標の欠点を解決するために,モデル予測における分布不均衡を捉える新しい指標であるChoice Kullback-Leibler Divergence (CKLD)を提案する。 複数のデータセットにまたがる3つのLLM実験により、我々の手法は解の精度を一貫して改善し、選択バイアスを低減し、オープンソースモデルとクローズドソースモデルの両方にロバストなソリューションを提供することを示した。

関連論文リスト

• SCOPE: Stochastic and Counterbiased Option Placement for Evaluating Large Language Models [0.27309692684728604]
  大規模言語モデル(LLM)は、選択肢の位置やラベルに固有のバイアスを生かして、複数の選択タスクの膨らませたスコアを達成できる。 本研究では,データセットに依存しない方法で選択バイアスを計測・緩和するSCOPEを提案する。
  論文  参考訳（メタデータ） (2025-07-24T08:28:17Z)
• A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [68.43987626137512]
  本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。 最適化に基づく最適化手法であるMERITを導入する。 MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
  論文  参考訳（メタデータ） (2025-06-23T19:59:30Z)
• Fragile Preferences: A Deep Dive Into Order Effects in Large Language Models [2.3936613583728064]
  複数の大規模言語モデル(LLM)にまたがる位置バイアスの包括的調査を行う。 選択肢が高品質である場合、モデルは優位性バイアスを示すが、オプションの品質が低い場合は後者の選択肢を好む。 表面張力と判断の真の歪みを区別するために、ペアの選好を頑丈、脆弱、あるいは無関心と分類する枠組みを導入する。
  論文  参考訳（メタデータ） (2025-06-17T01:14:22Z)
• Cognitive Debiasing Large Language Models for Decision-Making [71.2409973056137]
  大規模言語モデル(LLM)は意思決定アプリケーションをサポートする可能性を示している。 本稿では,LLMの信頼性を高める自己脱バイアスという認知的脱バイアス手法を提案する。 我々の手法は、3つの逐次的なステップ – バイアス決定、バイアス分析、認知バイアス ― に従うことで、プロンプトにおける潜在的な認知バイアスを反復的に緩和する。
  論文  参考訳（メタデータ） (2025-04-05T11:23:05Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• CalibraEval: Calibrating Prediction Distribution to Mitigate Selection Bias in LLMs-as-Judges [21.580762639442913]
  推論中に選択バイアスを緩和する新しいラベルフリー手法であるCalibraEvalを紹介する。 CalibraEvalは、バイアスのない予測分布に合わせて観測された予測分布を調整するための最適化タスクとしてデバイアスを再構成する。 本稿では,CalibraEvalが選択バイアスを効果的に軽減し,既存のデバイアス法と比較して性能を向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-20T13:47:39Z)
• Addressing Blind Guessing: Calibration of Selection Bias in Multiple-Choice Question Answering by Video Language Models [16.34646723046073]
  ビデオ言語モデル(VLM)は、複雑なビデオ中心の質問に答えるように設計されている。 現在のベンチマークでは、選択バイアスのため、VLMの完全な推論能力の取得に失敗している。 本研究は,ビデオ-テキスト LLM モデルにおける選択バイアスについて,初めて焦点を絞った研究である。
  論文  参考訳（メタデータ） (2024-10-18T07:52:22Z)
• Evaluating Nuanced Bias in Large Language Model Free Response Answers [8.775925011558995]
  複数の選択テストでは識別できない自由テキストにおける数種類のニュアンスバイアスを同定する。 本稿では, 偏見を検知する半自動パイプラインについて, 解答を非偏見として自動的に分類する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T19:58:13Z)
• Going Beyond Popularity and Positivity Bias: Correcting for Multifactorial Bias in Recommender Systems [74.47680026838128]
  ユーザインタラクションデータとレコメンダシステム(RS)の2つの典型的なバイアスは、人気バイアスと肯定バイアスである。 項目と評価値の双方に影響される多因子選択バイアスについて検討する。 分散を低減し、最適化の堅牢性を向上させるため、スムースで交互に勾配降下する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-29T12:18:21Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• The Gaps between Pre-train and Downstream Settings in Bias Evaluation and Debiasing [74.7319697510621]
  In-Context Learning (ICL)は、FTベースのデバイアス法と比較して、PLMの変更を小さくする。 ICL-based debiasing method is a higher correlation between intrinsic and extrinsic bias scores than FT-based method。
  論文  参考訳（メタデータ） (2024-01-16T17:15:08Z)
• Self-Supervised Position Debiasing for Large Language Models [39.261233221850155]
  大規模言語モデル(LLM)における位置バイアスを軽減するための自己教師型位置偏差検出(SOD)フレームワークを提案する。 8つのデータセットと5つのタスクの実験により、SODは3つのタイプの位置バイアスを緩和する既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T14:12:41Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
  ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。 意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。 本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T08:41:40Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。