論文の概要: The Invisible Hand: Unveiling Provider Bias in Large Language Models for Code Generation

• arxiv url: http://arxiv.org/abs/2501.07849v3
• Date: Tue, 03 Jun 2025 12:58:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:31.880865
• Title: The Invisible Hand: Unveiling Provider Bias in Large Language Models for Code Generation
• Title（参考訳）: 見えない手:コード生成のための大規模言語モデルにおけるプロバイダバイアスの発見
• Authors: Xiaoyu Zhang, Juan Zhai, Shiqing Ma, Qingshuang Bao, Weipeng Jiang, Qian Wang, Chao Shen, Yang Liu,
• Abstract要約: 大規模言語モデル(LLM)が新しいレコメンデーションエンジンとして登場した。 明示的な指示がなければ、これらのモデルが推奨する特定のプロバイダからのサービスに対して、体系的な嗜好を示すことが示される。 LLMコード生成におけるプロバイダバイアスの総合的研究は,7つの最先端LCMに対して行われた。
• 参考スコア（独自算出の注目度）: 37.66613667849016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have emerged as the new recommendation engines, surpassing traditional methods in both capability and scope, particularly in code generation. In this paper, we reveal a novel provider bias in LLMs: without explicit directives, these models show systematic preferences for services from specific providers in their recommendations (e.g., favoring Google Cloud over Microsoft Azure). To systematically investigate this bias, we develop an automated pipeline to construct the dataset, incorporating 6 distinct coding task categories and 30 real-world application scenarios. Leveraging this dataset, we conduct the first comprehensive empirical study of provider bias in LLM code generation across seven state-of-the-art LLMs, utilizing approximately 500 million tokens (equivalent to $5,000+ in computational costs). Our findings reveal that LLMs exhibit significant provider preferences, predominantly favoring services from Google and Amazon, and can autonomously modify input code to incorporate their preferred providers without users' requests. Such a bias holds far-reaching implications for market dynamics and societal equilibrium, potentially contributing to digital monopolies. It may also deceive users and violate their expectations, leading to various consequences. We call on the academic community to recognize this emerging issue and develop effective evaluation and mitigation methods to uphold AI security and fairness.
• Abstract（参考訳）: 大規模言語モデル(LLM)が新しいレコメンデーションエンジンとして登場し、特にコード生成において、機能とスコープの両方において従来のメソッドを上回っている。 明示的な指示がなければ、これらのモデルは、推奨する特定のプロバイダ(例えば、Microsoft AzureよりもGoogle Cloudを好む)からのサービスに対して、体系的な好みを示す。 このバイアスを体系的に調査するために,6つの異なるコーディングタスクカテゴリと30の実世界のアプリケーションシナリオを組み込んだ,データセットを構築する自動パイプラインを開発した。 このデータセットを活用することで、約5億のトークン(計算コストが5,000ドル以上に相当する)を活用して、7つの最先端のLLMコード生成におけるLLMコードのプロバイダバイアスに関する、初めての総合的な実証的研究を行う。 LLMは、主にGoogleやAmazonのサービスに好意的であり、入力コードを自動で修正して、ユーザの要求なしに好みのプロバイダを組み込むことができる。 このようなバイアスは市場ダイナミクスや社会的均衡に大きく影響し、デジタル独占に寄与する可能性がある。 また、ユーザーを騙し、彼らの期待に反し、様々な結果をもたらす可能性がある。 我々は,この新興問題を認識し,AIのセキュリティと公正性を維持するための効果的な評価と緩和手法を開発するよう学術コミュニティに呼びかける。

関連論文リスト

• Improving Preference Extraction In LLMs By Identifying Latent Knowledge Through Classifying Probes [20.20764453136706]
  大規模言語モデル(LLM)は、しばしばテキストを評価するために自動判断器として使用される。 本稿では,2つのプロンプト間の差異を利用して学習した線形分類プローブを用いて,潜在知識にアクセスし,より正確な選好を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2025-03-22T12:35:25Z)
• Agent-centric Information Access [21.876205078570507]
  大規模言語モデル(LLM)はより特殊化され、それぞれが独自のデータに基づいて訓練され、特定のドメインで優れたものとなる。 本稿ではエージェント中心の情報アクセスのためのフレームワークを紹介し,LLMは知識エージェントとして機能し,その知識に基づいて動的にランク付けされ,クエリされる。 本稿では,検索拡張生成とクラスタリング技術を活用して,数千の専門モデルの構築と評価を行うスケーラブルな評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-26T16:56:19Z)
• MM-RLHF: The Next Step Forward in Multimodal LLM Alignment [59.536850459059856]
  MM-RLHF, $mathbf120k$ fine-fine, human-annotated preference comparison pairsを含むデータセットを紹介する。 本稿では,報酬モデルの品質向上とアライメントアルゴリズムの効率向上のために,いくつかの重要なイノベーションを提案する。 我々のアプローチは、$mathbf10$の異なる次元と$mathbf27$のベンチマークで厳格に評価されている。
  論文  参考訳（メタデータ） (2025-02-14T18:59:51Z)
• Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。 事前の推論も一貫して優れており、低コストでテキスト内学習よりも信頼性が高いことが証明されている。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Learning to Predict Usage Options of Product Reviews with LLM-Generated Labels [14.006486214852444]
  複雑な自然言語タスクにおけるデータアノテートのための,少人数の学習者としてLLMを使用する手法を提案する。 カスタムモデルを学ぶことは、エネルギー効率とプライバシー対策を個別に制御する。 結果のデータの質が、サードパーティのベンダーサービスによって達成されたレベルを超えていることに気付きました。
  論文  参考訳（メタデータ） (2024-10-16T11:34:33Z)
• LLM-based Weak Supervision Framework for Query Intent Classification in Video Search [6.519428288229856]
  本稿では,大規模言語モデル(LLM)を弱監督によって活用し,大量のユーザ検索クエリを自動的にアノテートする手法を提案する。 思考の連鎖(Chain of Thought)と文脈学習(In-Context Learning)を通じてドメイン知識を組み込むことによって、我々のアプローチはラベル付きデータを活用し、リアルタイム推論に最適化された低レイテンシモデルを訓練する。
  論文  参考訳（メタデータ） (2024-09-13T15:47:50Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• DACO: Towards Application-Driven and Comprehensive Data Analysis via Code Generation [83.30006900263744]
  データ分析は、詳細な研究と決定的な洞察を生み出すための重要な分析プロセスである。 LLMのコード生成機能を活用した高品質な応答アノテーションの自動生成を提案する。 我々のDACO-RLアルゴリズムは、57.72%のケースにおいて、SFTモデルよりも有用な回答を生成するために、人間のアノテータによって評価される。
  論文  参考訳（メタデータ） (2024-03-04T22:47:58Z)
• Conversational Factor Information Retrieval Model (ConFIRM) [2.855224352436985]
  ConFIRM(Conversational Factor Information Retrieval Method)は、ドメイン固有の検索タスクのための大規模言語モデル(LLM)を微調整する新しい手法である。 本研究では、金融セクターにおけるケーススタディを通じて、パーソナライズされたデータを用いてLlama-2-7bモデルを微調整し、ConFIRMの有効性を実証する。 結果のモデルでは、ファイナンシャルクエリの分類において91%の精度が達成され、NVIDIA A100 GPU上での平均推論時間は0.61秒であった。
  論文  参考訳（メタデータ） (2023-10-06T12:31:05Z)
• Learning to Rank in the Position Based Model with Bandit Feedback [3.9121134770873742]
  本稿では,LinUCB と Linear Thompson Sampling の2つのよく知られたアルゴリズムの拡張を提案する。 生産環境におけるバイアスを考慮し,位置ベースクリックモデルを用いる。
  論文  参考訳（メタデータ） (2020-04-27T19:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。