論文の概要: BiasBusters: Uncovering and Mitigating Tool Selection Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.00307v1
• Date: Tue, 30 Sep 2025 22:02:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.268895
• Title: BiasBusters: Uncovering and Mitigating Tool Selection Bias in Large Language Models
• Title（参考訳）: BiasBusters: 大規模言語モデルにおけるツール選択バイアスの発見と緩和
• Authors: Thierry Blankenstein, Jialin Yu, Zixuan Li, Vassilis Plachouras, Sunando Sengupta, Philip Torr, Yarin Gal, Alasdair Paren, Adel Bibi,
• Abstract要約: 大規模言語モデル(LLM)は、複数のプロバイダが機能的に同等のオプションを提供するマーケットプレースから引き出された外部ツールに依存していることが多い。 選択が体系的に偏りがある場合、ユーザエクスペリエンスを低下させ、競争を歪ませることができます。 ツール選択バイアスを評価するために,複数の機能的に等価なツールを含む多種多様なツールカテゴリのベンチマークを導入する。
• 参考スコア（独自算出の注目度）: 55.119657444627855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agents backed by large language models (LLMs) often rely on external tools drawn from marketplaces where multiple providers offer functionally equivalent options. This raises a critical point concerning fairness: if selection is systematically biased, it can degrade user experience and distort competition by privileging some providers over others. We introduce a benchmark of diverse tool categories, each containing multiple functionally equivalent tools, to evaluate tool-selection bias. Using this benchmark, we test seven models and show that unfairness exists with models either fixating on a single provider or disproportionately preferring earlier-listed tools in context. To investigate the origins of this bias, we conduct controlled experiments examining tool features, metadata (name, description, parameters), and pre-training exposure. We find that: (1) semantic alignment between queries and metadata is the strongest predictor of choice; (2) perturbing descriptions significantly shifts selections; and (3) repeated pre-training exposure to a single endpoint amplifies bias. Finally, we propose a lightweight mitigation that first filters the candidate tools to a relevant subset and then samples uniformly, reducing bias while preserving good task coverage. Our findings highlight tool-selection bias as a key obstacle for the fair deployment of tool-augmented LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)が支援するエージェントは、複数のプロバイダが機能的に同等のオプションを提供するマーケットプレースから引き出された外部ツールに依存することが多い。 選択が体系的にバイアスを受ければ、ユーザエクスペリエンスを低下させ、一部のプロバイダを他よりも保護することで競争を歪めることができます。 ツール選択バイアスを評価するために,複数の機能的に等価なツールを含む多種多様なツールカテゴリのベンチマークを導入する。 このベンチマークを用いて、我々は7つのモデルをテストし、単一のプロバイダに固定するか、事前にリストされたツールを文脈で好んで選択するかのいずれかで不公平性が存在することを示す。 このバイアスの起源を調べるために、ツールの特徴、メタデータ(名前、記述、パラメータ)、および事前学習露光について、制御実験を行った。 1) クエリとメタデータ間のセマンティックアライメントが選択の最も強力な予測要因であること,(2) 摂動記述が選択を著しくシフトすること,(3) 単一エンドポイントへの繰り返し事前学習がバイアスを増幅すること,などが分かる。 最後に、まず候補ツールを関連するサブセットにフィルタリングし、次に一様にサンプリングし、優れたタスクカバレッジを維持しながらバイアスを低減する軽量な緩和法を提案する。 ツール拡張LDMの公平な展開には,ツール選択バイアスが重要な障害となる。

関連論文リスト

• ToolTweak: An Attack on Tool Selection in LLM-based Agents [52.17181489286236]
  対戦相手は,特定のツールの選択に対して,エージェントを体系的にバイアスし,等しく有能な代替手段に対して不公平な優位性を得ることができることを示す。 提案するToolTweakは,ベースラインの20%程度から最大81%までの選択率を向上する,軽量自動攻撃である。 これらのリスクを軽減するために、パラフレージングとパープレキシティ・フィルタリングという2つの防御効果を評価し、バイアスを低減し、エージェントが機能的に類似したツールをより平等に選択できるようにする。
  論文  参考訳（メタデータ） (2025-10-02T20:44:44Z)
• Meta-Reasoning Improves Tool Use in Large Language Models [10.193264105560864]
  本稿では,タスクを最初に理由付け,候補ツールを出力する2段階システムであるTECTON(Meta-reasONing)によるツール選択を提案する。 TECTONは、様々な数学推論データセットにおいて、分布内と分布外の両方において、実質的なゲインをもたらす。
  論文  参考訳（メタデータ） (2024-11-07T08:48:33Z)
• Mitigating Selection Bias with Node Pruning and Auxiliary Options [11.835002896308545]
  大規模言語モデル(LLM)は、複数の質問に応答するときに、特定の回答の選択を体系的に選好することが多い。 このバイアスは、LCM出力の精度と信頼性を低下させ、決定クリティカルなアプリケーションにおけるそれらの有用性を制限する。 選択バイアスに寄与するパラメータを抽出するBias Node Pruning(BNP)と、ホワイトボックスとブラックボックスの設定の両方でバイアスを減らすためのAuxiliary Option Injection(AOI)の2つの方法を紹介する。
  論文  参考訳（メタデータ） (2024-09-27T15:53:54Z)
• Going Beyond Popularity and Positivity Bias: Correcting for Multifactorial Bias in Recommender Systems [74.47680026838128]
  ユーザインタラクションデータとレコメンダシステム(RS)の2つの典型的なバイアスは、人気バイアスと肯定バイアスである。 項目と評価値の双方に影響される多因子選択バイアスについて検討する。 分散を低減し、最適化の堅牢性を向上させるため、スムースで交互に勾配降下する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-29T12:18:21Z)
• Improving Bias Mitigation through Bias Experts in Natural Language Understanding [10.363406065066538]
  補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。 提案手法は補助モデルのバイアス識別能力を向上させる。
  論文  参考訳（メタデータ） (2023-12-06T16:15:00Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms [19.86635585740634]
  バイアス注入型サンドボックスツールの概念と実装について, 各種バイアスの公平性について検討する。 既存のツールキットとは異なり、私たちのツールはMLパイプラインに事実上バイアスを注入する制御された環境を提供します。 特に、バイアス注入前において、偏りのない状態の真のラベルに介入した後に生じる予測を比較することで、与えられた治療法が注入されたバイアスを軽減することができるかどうかを検証できる。
  論文  参考訳（メタデータ） (2022-04-21T16:12:19Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。