論文の概要: Peeking Behind Closed Doors: Risks of LLM Evaluation by Private Data Curators

• arxiv url: http://arxiv.org/abs/2503.04756v1
• Date: Sun, 09 Feb 2025 23:57:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-16 10:47:29.189590
• Title: Peeking Behind Closed Doors: Risks of LLM Evaluation by Private Data Curators
• Title（参考訳）: クローズドドアの後ろを覗く - プライベートデータキュレーターによるLCM評価のリスク
• Authors: Hritik Bansal, Pratyush Maini,
• Abstract要約: 汚染問題に対処する上で潜在的に有利であるにもかかわらず、私的評価は不注意な財務・評価リスクをもたらすと論じる。 主な懸念事項は、プライベートデータキュレーターと顧客とのビジネス関係から生じる利害対立である。 プライベートエキスパートアノテータの主観的嗜好が、プライベートキュレーターのデータで訓練されたモデルに対して固有の評価バイアスをもたらすことを強調する。
• 参考スコア（独自算出の注目度）: 11.819135112719623
• License:
• Abstract: The rapid advancement in building large language models (LLMs) has intensified competition among big-tech companies and AI startups. In this regard, model evaluations are critical for product and investment-related decision-making. While open evaluation sets like MMLU initially drove progress, concerns around data contamination and data bias have constantly questioned their reliability. As a result, it has led to the rise of private data curators who have begun conducting hidden evaluations with high-quality self-curated test prompts and their own expert annotators. In this paper, we argue that despite potential advantages in addressing contamination issues, private evaluations introduce inadvertent financial and evaluation risks. In particular, the key concerns include the potential conflict of interest arising from private data curators' business relationships with their clients (leading LLM firms). In addition, we highlight that the subjective preferences of private expert annotators will lead to inherent evaluation bias towards the models trained with the private curators' data. Overall, this paper lays the foundation for studying the risks of private evaluations that can lead to wide-ranging community discussions and policy changes.
• Abstract（参考訳）: 大規模言語モデル(LLM)の構築の急速な進歩は、大企業やAIスタートアップの競争を激化させている。 この点において、モデル評価は製品および投資に関する意思決定にとって重要である。 MMLUのようなオープンな評価セットが最初は進歩したが、データの汚染やデータのバイアスに関する懸念は、その信頼性に常に疑問を呈している。 その結果、高品質な自己計算テストプロンプトと専門家アノテータで隠れた評価を行うプライベートデータキュレーターの台頭につながった。 本稿では,汚染問題に対処する上で潜在的に有利であるにもかかわらず,個人評価は不注意な財務・評価リスクをもたらすことを論じる。 特に重要な懸念は、プライベートデータキュレーターとクライアント(LLM企業をリードする)とのビジネス関係から生じる利害対立の可能性である。 さらに、プライベートエキスパートアノテータの主観的嗜好が、プライベートキュレーターのデータで訓練されたモデルに固有の評価バイアスをもたらすことを強調した。 本稿は,幅広い地域社会の議論や政策変更につながる私的評価のリスクを研究するための基礎となるものである。

関連論文リスト

• Investigating Privacy Bias in Training Data of Language Models [1.3167450470598043]
  プライバシーバイアス(英: privacy bias)とは、あるコンテキスト内で情報の流れが適切に流れる際の歪を指す。 このスキューは、既存の期待に沿うか、システムの問題の症状を示すかもしれない。 文脈整合性に基づく手法を用いてプライバシーバイアスを評価する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T17:50:31Z)
• Privacy Risks of General-Purpose AI Systems: A Foundation for Investigating Practitioner Perspectives [47.17703009473386]
  強力なAIモデルによって、幅広いタスクでパフォーマンスが飛躍的に向上した。 プライバシの懸念は、さまざまなプライバシのリスクとAIモデルの脆弱性をカバーした、豊富な文献につながっている。 我々はこれらの調査論文の体系的なレビューを行い、GPAISにおけるプライバシーリスクの簡潔かつ有用な概観を提供する。
  論文  参考訳（メタデータ） (2024-07-02T07:49:48Z)
• Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models [92.66784679667441]
  プロメテウス2は、人間とGPT-4の判断を密接に反映するより強力な評価器である。 ユーザ定義評価基準でグループ化された、直接評価とペアのランキングフォーマットの両方を処理できる。 4つの直接評価ベンチマークと4つのペアのランキングベンチマークで、Prometheus 2は人間と独自のLM判事との相関と合意を最も高く評価している。
  論文  参考訳（メタデータ） (2024-05-02T17:59:35Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。 本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T21:12:14Z)
• Technocracy, pseudoscience and performative compliance: the risks of privacy risk assessments. Lessons from NIST's Privacy Risk Assessment Methodology [0.0]
  プライバシ・リスク・アセスメントは、組織がプライバシ・バイ・デザインを実装することを奨励する、客観的で原則化された方法として評価されてきた。 既存のガイドラインや手法はあいまいであり、プライバシーの害に関する実証的な証拠はほとんどない。 実用的で技術的アプローチの限界と落とし穴を強調します。
  論文  参考訳（メタデータ） (2023-08-24T01:32:35Z)
• Auditing and Generating Synthetic Data with Controllable Trust Trade-offs [54.262044436203965]
  合成データセットとAIモデルを包括的に評価する総合監査フレームワークを導入する。 バイアスや差別の防止、ソースデータへの忠実性の確保、実用性、堅牢性、プライバシ保護などに焦点を当てている。 多様なユースケースにまたがる様々な生成モデルを監査することにより,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-21T09:03:18Z)
• PRIVEE: A Visual Analytic Workflow for Proactive Privacy Risk Inspection of Open Data [3.2136309934080867]
  個人情報を含むオープンデータセットは、匿名化しても敵攻撃の影響を受けやすい。 我々は、ローカルで結合可能なデータ地区における開示リスクを、データディフェンダーが認識できるようにするビジュアル分析ソリューションを開発した。 我々はこの問題とドメイン特性を用いて、防御機構としての視覚的分析的介入のセットを開発する。
  論文  参考訳（メタデータ） (2022-08-12T19:57:09Z)
• PCAL: A Privacy-preserving Intelligent Credit Risk Modeling Framework Based on Adversarial Learning [111.19576084222345]
  本稿では,PCAL(Adversarial Learning)に基づくプライバシ保護型信用リスクモデリングの枠組みを提案する。 PCALは、ターゲット予測タスクのパフォーマンスの重要なユーティリティ情報を維持しながら、元のデータセット内のプライベート情報を隠蔽することを目的としている。 結果は,PCALがユーザデータから効果的なプライバシフリー表現を学習し,信用リスク分析のためのプライバシ保存機械学習の基盤となることを示唆している。
  論文  参考訳（メタデータ） (2020-10-06T07:04:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。