論文の概要: Be Fair! Can Machine Learning Engineering Agents Adhere to Fairness Constraints?

• arxiv url: http://arxiv.org/abs/2606.04971v1
• Date: Wed, 03 Jun 2026 14:52:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.840855
• Title: Be Fair! Can Machine Learning Engineering Agents Adhere to Fairness Constraints?
• Title（参考訳）: Be Fair! 機械学習エンジニアリングエージェントはフェアネス制約に適応できるか?
• Authors: Anna Richter, Julia Stoyanovich, Sebastian Schelter,
• Abstract要約: マシンラーニングエンジニアリング(MLE)エージェントは、生データと自然言語命令からエンドツーエンドのMLパイプライン開発を自動化することを約束する。 敏感で規制されたドメインでは、この抽象化は責任ギャップを生み出す。 既存のベンチマークでは、このような設定でMLEエージェントを安全に適用できるかどうかを評価するには不十分である。
• 参考スコア（独自算出の注目度）: 21.731323824637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning engineering (MLE) agents promise to automate end-to-end ML pipeline development from raw data and natural language instructions, potentially making ML accessible to non-technical domain experts. However, in sensitive and regulated domains, this abstraction creates a responsibility gap: end-users may lack visibility into design choices that affect correctness, robustness, fairness, and regulatory compliance. We argue that existing benchmarks are insufficient to assess whether MLE agents can be safely applied in such settings. We propose desiderata for a responsibility-centered evaluation framework and conduct an exploratory study on melanoma classification, focusing on fairness across skin tones as a responsibility constraint. When evaluating two recent MLE agents, we find that agent-generated pipelines show high variance and consistently underperform manually designed baselines in both predictive quality and fairness, despite fairness-oriented prompts. These preliminary results suggest that further research is needed towards redesigning MLE agents to allow humans to guide the search process and reliably assess the compliance and quality of the generated ML pipelines.
• Abstract（参考訳）: マシンラーニングエンジニアリング(MLE)エージェントは、生のデータと自然言語命令からエンドツーエンドのMLパイプライン開発を自動化することを約束する。 しかし、センシティブで規制されたドメインでは、この抽象化は責任ギャップを生み出します。 既存のベンチマークでは、このような設定でMLEエージェントを安全に適用できるかどうかを評価するには不十分である。 そこで我々は,責任中心評価の枠組みとしてデシラタを提案し,メラノーマ分類の探索的研究を行い,責任制約としての肌の色調の公平性に着目した。 最近の2つのMLEエージェントを評価する際、エージェント生成パイプラインは高いばらつきを示し、公平性指向のプロンプトにもかかわらず、予測品質と公平性の両方で手作業で設計したベースラインを一貫して過小評価している。 これらの予備的な結果は、人間が検索プロセスをガイドし、生成されたMLパイプラインのコンプライアンスと品質を確実に評価できるように、MLEエージェントを再設計するためにさらなる研究が必要であることを示唆している。

関連論文リスト

• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• CompliBench: Benchmarking LLM Judges for Compliance Violation Detection in Dialogue Systems [19.083967725767387]
  CompliBenchは、マルチターン対話におけるガイドライン違反の検出とローカライズを行うLLM審査員の能力を評価するために設計された新しいベンチマークである。 ユーザとエージェントのインタラクションをシミュレートするスケーラブルで自動化されたデータ生成パイプラインを開発した。 我々の制御可能な欠陥注入プロセスは、自動的に、違反したガイドラインと正確な会話ターンの正確な接地木ラベルを出力する。
  論文  参考訳（メタデータ） (2026-04-14T05:42:41Z)
• LHAW: Controllable Underspecification for Long-Horizon Tasks [8.46227536869596]
  LHAW(Long-Horizon Augmenteds)は、モジュール型でデータセットに依存しない合成パイプラインである。 あいまいさのLLM予測に依存するアプローチとは異なり、LHAWは経験的エージェント試行を通じて変種を検証し、観察された終端状態のばらつきに基づいて結果クリティカル、発散、良性として分類する。 TheAgentCompany、SWE-Bench Pro、MCP-Atlasから285のタスク変種をリリースし、現在のエージェントが不明瞭な設定に対して不特定性を検知し、推論し、解決する方法を測定した。
  論文  参考訳（メタデータ） (2026-02-11T04:49:50Z)
• LLM Performance Predictors: Learning When to Escalate in Hybrid Human-AI Moderation Systems [5.7001352660257005]
  本稿では,コンテンツモデレーションシステムにおける不確実性定量化の監視のためのフレームワークを提案する。 提案手法は,実世界のヒューマンAIにおいて,コストアウェアの選択的分類を可能にする。 この研究は、不確実性を認識し、スケーラブルで責任あるヒューマンAIモデレーションのための原則化されたフレームワークを確立する。
  論文  参考訳（メタデータ） (2026-01-11T17:46:49Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• ORCHID: Orchestrated Retrieval-Augmented Classification with Human-in-the-Loop Intelligent Decision-Making for High-Risk Property [6.643427585499247]
  ORCHIDは、HRP分類のためのモジュール型エージェントシステムである。 検索強化世代(RAG)を人間の監視と組み合わせて、監査可能なポリシベースのアウトプットを生成する。 デモでは、単一項目の提出、接地された引用、中小企業のフィードバックキャプチャ、エクスポート可能な監査アーティファクトなどが紹介されている。
  論文  参考訳（メタデータ） (2025-11-07T03:48:05Z)
• Automatic Building Code Review: A Case Study [6.530899637501737]
  建設担当者は、プロジェクトのサイズと複雑さが増大するにつれて、労働集約的で、エラーを起こし、コストがかかる設計文書のレビューに直面します。 本研究では,BIMに基づくデータ抽出と自動検証を統合したエージェント駆動型フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-03T00:30:14Z)
• MoRE-LLM: Mixture of Rule Experts Guided by a Large Language Model [54.14155564592936]
  大規模言語モデル(MoRE-LLM)によるルールエキスパートの混合を提案する。 MoRE-LLMは、トレーニング中の局所的なルールベースのサロゲートの発見と、それらの分類タスクの利用を操縦する。 LLMはルールを修正・コンテキスト化することで、ルールのドメイン知識の整合性を高める役割を担います。
  論文  参考訳（メタデータ） (2025-03-26T11:09:21Z)
• How Far Are LLMs from Believable AI? A Benchmark for Evaluating the Believability of Human Behavior Simulation [46.42384207122049]
  我々は,人間の振る舞いをシミュレートする際の大規模言語モデル (LLM) の信頼性を評価するために SimulateBench を設計する。 SimulateBenchに基づいて、文字をシミュレートする際、広く使われている10個のLLMの性能を評価する。
  論文  参考訳（メタデータ） (2023-12-28T16:51:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。