論文の概要: BIASINSPECTOR: Detecting Bias in Structured Data through LLM Agents

• arxiv url: http://arxiv.org/abs/2504.04855v1
• Date: Mon, 07 Apr 2025 09:12:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 20:45:36.34541
• Title: BIASINSPECTOR: Detecting Bias in Structured Data through LLM Agents
• Title（参考訳）: BIASINSPECTOR:LLMエージェントによる構造化データのバイアス検出
• Authors: Haoxuan Li, Mingyu Derek Ma, Jen-tse Huang, Zhaotian Weng, Wei Wang, Jieyu Zhao,
• Abstract要約: 本稿では,構造化データの自動バイアス検出のための,エンド・ツー・エンドのマルチエージェント・シナジー・フレームワークBIASINSPECTORを紹介する。 まず、ユーザが特定した偏見検出タスクを分析し、多種多様なツールセットで実装する多段階計画を開発した。 構造化データのバイアス検出において、例外的な全体的なパフォーマンスを実現し、より公平なデータアプリケーションのための新しいマイルストーンを設定します。
• 参考スコア（独自算出の注目度）: 27.159150467166732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting biases in structured data is a complex and time-consuming task. Existing automated techniques are limited in diversity of data types and heavily reliant on human case-by-case handling, resulting in a lack of generalizability. Currently, large language model (LLM)-based agents have made significant progress in data science, but their ability to detect data biases is still insufficiently explored. To address this gap, we introduce the first end-to-end, multi-agent synergy framework, BIASINSPECTOR, designed for automatic bias detection in structured data based on specific user requirements. It first develops a multi-stage plan to analyze user-specified bias detection tasks and then implements it with a diverse and well-suited set of tools. It delivers detailed results that include explanations and visualizations. To address the lack of a standardized framework for evaluating the capability of LLM agents to detect biases in data, we further propose a comprehensive benchmark that includes multiple evaluation metrics and a large set of test cases. Extensive experiments demonstrate that our framework achieves exceptional overall performance in structured data bias detection, setting a new milestone for fairer data applications.
• Abstract（参考訳）: 構造化データのバイアスの検出は複雑で時間を要する作業である。 既存の自動化技術は、データタイプの多様性に制限されており、ケースバイケースの処理に大きく依存しているため、一般化性に欠ける。 現在、大規模言語モデル(LLM)ベースのエージェントは、データサイエンスにおいて大きな進歩を遂げているが、データのバイアスを検出する能力はまだ不十分である。 このギャップに対処するために、特定のユーザ要求に基づいて構造化データの自動バイアス検出のために設計された、エンド・ツー・エンドのマルチエージェント・シナジー・フレームワークであるBIASINSPECTORを導入する。 まず、ユーザが特定した偏見検出タスクを分析し、多種多様なツールセットで実装する多段階計画を開発した。 説明や視覚化を含む詳細な結果を提供する。 LLMエージェントがデータのバイアスを検出する能力を評価するための標準フレームワークの欠如に対処するために、複数の評価指標と多数のテストケースを含む包括的なベンチマークを提案する。 大規模な実験により、構造化データバイアス検出において、我々のフレームワークは例外的な全体的なパフォーマンスを達成し、より公平なデータアプリケーションに新たなマイルストーンを樹立した。

関連論文リスト

• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• DSAI: Unbiased and Interpretable Latent Feature Extraction for Data-Centric AI [24.349800949355465]
  大規模言語モデル(LLM)は、大きなデータセットの潜在特性を客観的に識別するのにしばしば苦労する。 本研究では,非バイアスで解釈可能な特徴抽出を可能にするフレームワークであるData Scientist AI(DSAI)を提案する。
  論文  参考訳（メタデータ） (2024-12-09T08:47:05Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Data Proportion Detection for Optimized Data Management for Large Language Models [32.62631669919273]
  我々は,事前学習データの割合の自動推定を可能にする新しいトピック,textitdata proportion Detectionを導入する。 データ比例検出のための厳密な理論的証明、実用的なアルゴリズム、予備実験結果を提供する。
  論文  参考訳（メタデータ） (2024-09-26T04:30:32Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• CMDBench: A Benchmark for Coarse-to-fine Multimodal Data Discovery in Compound AI Systems [10.71630696651595]
  知識集約的なタスクを達成するエージェントとしてLLMを使用する複合AIシステム(CAS)は、データベースやAIコミュニティにおいて大きな関心を集めている。 マルチモーダルデータソースのサイロは、そのタスクを達成するための適切なデータソースを特定するのを困難にしている。 我々はエンタープライズデータプラットフォームの複雑さをモデル化したベンチマークであるCMDBenchを提案する。
  論文  参考訳（メタデータ） (2024-06-02T01:10:41Z)
• ARC: A Generalist Graph Anomaly Detector with In-Context Learning [62.202323209244]
  ARCは汎用的なGADアプローチであり、一対一のGADモデルで様々なグラフデータセットの異常を検出することができる。 ARCはコンテキスト内学習を備えており、ターゲットデータセットからデータセット固有のパターンを直接抽出することができる。 各種領域からの複数のベンチマークデータセットに対する大規模な実験は、ARCの優れた異常検出性能、効率、一般化性を示す。
  論文  参考訳（メタデータ） (2024-05-27T02:42:33Z)
• Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
  大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。 本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。 1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
  論文  参考訳（メタデータ） (2024-02-19T07:15:59Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Multiple Instance Learning for Detecting Anomalies over Sequential Real-World Datasets [2.427831679672374]
  MIL(Multiple Instance Learning)は、トレーニングデータセットにおけるラベルの不完全な知識に関する問題に対して有効であることが示されている。 MILに基づく定式化と,異なる設計決定に基づいて,このフレームワークの様々なアルゴリズムのインスタンス化を提案する。 このフレームワークは、さまざまな現実世界のアプリケーションドメインから生じる多様なデータセットをうまく一般化する。
  論文  参考訳（メタデータ） (2022-10-04T16:02:09Z)
• Identifying the Context Shift between Test Benchmarks and Production Data [1.2259552039796024]
  データセットベンチマークにおける機械学習モデルの精度と実運用データの間には、パフォーマンスのギャップがある。 分布変化とモデル予測誤差につながる文脈変化を同定する2つの手法を概説する。 本研究は,機械学習モデルに基づく暗黙の仮定を強調するケーススタディを2つ提示する。
  論文  参考訳（メタデータ） (2022-07-03T14:54:54Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。