論文の概要: The Impossibility of Fair LLMs

• arxiv url: http://arxiv.org/abs/2406.03198v1
• Date: Tue, 28 May 2024 04:36:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-09 15:49:54.079670
• Title: The Impossibility of Fair LLMs
• Title（参考訳）: フェアLLMの不可能性
• Authors: Jacy Anthis, Kristian Lum, Michael Ekstrand, Avi Feller, Alexander D'Amour, Chenhao Tan,
• Abstract要約: 大規模言語モデル(LLM)の時代において、公正なAIの必要性はますます明確になっている。 我々は、機械学習研究者が公正性を評価するために使った技術フレームワークについてレビューする。 我々は、特定のユースケースにおける公平性を達成するためのより現実的な目標のためのガイドラインを策定する。
• 参考スコア（独自算出の注目度）: 59.424918263776284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The need for fair AI is increasingly clear in the era of general-purpose systems such as ChatGPT, Gemini, and other large language models (LLMs). However, the increasing complexity of human-AI interaction and its social impacts have raised questions of how fairness standards could be applied. Here, we review the technical frameworks that machine learning researchers have used to evaluate fairness, such as group fairness and fair representations, and find that their application to LLMs faces inherent limitations. We show that each framework either does not logically extend to LLMs or presents a notion of fairness that is intractable for LLMs, primarily due to the multitudes of populations affected, sensitive attributes, and use cases. To address these challenges, we develop guidelines for the more realistic goal of achieving fairness in particular use cases: the criticality of context, the responsibility of LLM developers, and the need for stakeholder participation in an iterative process of design and evaluation. Moreover, it may eventually be possible and even necessary to use the general-purpose capabilities of AI systems to address fairness challenges as a form of scalable AI-assisted alignment.
• Abstract（参考訳）: 公正なAIの必要性は、ChatGPTやGemini、その他の大規模言語モデル(LLM)といった汎用システムの時代において、ますます明確になっている。 しかしながら、人間とAIの相互作用の複雑さの増大とその社会的影響は、どのように公正性標準を適用することができるのかという疑問を提起している。 本稿では、機械学習研究者が、グループフェアネスやフェア表現など、フェアネスを評価するのに用いた技術的枠組みを概観し、LLMへの適用には固有の制約があることを見出した。 それぞれのフレームワークがLLMに論理的に拡張していないか、あるいはLLMにとって難解な公平性の概念を提示しているかを示す。 これらの課題に対処するため、我々は、特にユースケースにおいて公正を達成するためのより現実的な目標、すなわち、コンテキストの臨界性、LLM開発者の責任、そして、設計と評価の反復的なプロセスにおけるステークホルダーの参加の必要性に関するガイドラインを開発する。 さらに、最終的には、スケーラブルなAIアシストアライメントの形式として、フェアネスの課題に対処するために、AIシステムの汎用能力を使用する必要さえある。

関連論文リスト

• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• A Human-in-the-Loop Fairness-Aware Model Selection Framework for Complex Fairness Objective Landscapes [37.5215569371757]
  ManyFairHPOはフェアネスを意識したモデル選択フレームワークで、実践者が複雑でニュアンスのあるフェアネスの客観的な風景をナビゲートすることを可能にする。 我々は,複数のフェアネス目標のバランス,自己充足的予言などのリスク軽減,公平性を考慮したモデリング決定における利害関係者の導出のための解釈可能な洞察の提供などにおけるMaryFairHPOの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-17T07:32:24Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Navigating LLM Ethics: Advancements, Challenges, and Future Directions [5.023563968303034]
  本研究では,人工知能分野におけるLarge Language Models(LLM)を取り巻く倫理的問題に対処する。 LLMと他のAIシステムによってもたらされる共通の倫理的課題を探求する。 幻覚、検証可能な説明責任、検閲の複雑さの復号化といった課題を強調している。
  論文  参考訳（メタデータ） (2024-05-14T15:03:05Z)
• Few-Shot Fairness: Unveiling LLM's Potential for Fairness-Aware Classification [7.696798306913988]
  フェアネス定義に適合するフェアネス規則を概説する枠組みを導入する。 本稿では,テキスト内学習のための構成と,RAGを用いてテキスト内デモを選択する手順について検討する。 異なるLCMを用いて行った実験では、GPT-4は他のモデルと比較して精度と公平性の両方において優れた結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-02-28T17:29:27Z)
• Inadequacies of Large Language Model Benchmarks in the Era of Generative Artificial Intelligence [5.147767778946168]
  我々は、23の最先端のLarge Language Models (LLMs)ベンチマークを批判的に評価する。 私たちの研究は、バイアス、真の推論、適応性、実装の不整合、エンジニアリングの複雑さ、多様性、文化的およびイデオロギー規範の見落としなど、重大な制限を明らかにしました。
  論文  参考訳（メタデータ） (2024-02-15T11:08:10Z)
• Towards Responsible AI in Banking: Addressing Bias for Fair Decision-Making [69.44075077934914]
  責任AI(Responsible AI)は、企業文化の発展におけるバイアスに対処する重要な性質を強調している。 この論文は、バイアスを理解すること、バイアスを緩和すること、バイアスを説明することの3つの基本的な柱に基づいて構成されている。 オープンソースの原則に従って、アクセス可能なPythonパッケージとして、Bias On DemandとFairViewをリリースしました。
  論文  参考訳（メタデータ） (2024-01-13T14:07:09Z)
• Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models [68.18370230899102]
  大規模言語モデル(LLM)における構成一般化能力の活用法について検討する。 我々は,これらのスキルに基礎を置く基礎的スキルと構成的事例の両方を同じプロンプト・コンテキストで示すことが重要であることを発見した。 SKiC型データを用いた微調整LDMは、ゼロショット弱強一般化を導出できることを示す。
  論文  参考訳（メタデータ） (2023-08-01T05:54:12Z)
• Can Fairness be Automated? Guidelines and Opportunities for Fairness-aware AutoML [52.86328317233883]
  本報告では、公平性に関連する害が発生する様々な方法の概要を概説する。 この方向に進むためには、いくつかのオープンな技術的課題を強調します。
  論文  参考訳（メタデータ） (2023-03-15T09:40:08Z)
• Getting Fairness Right: Towards a Toolbox for Practitioners [2.4364387374267427]
  バイアスを意図せずに埋め込んで再現するAIシステムの潜在的なリスクは、マシンラーニング実践者や社会全体の注目を集めている。 本稿では,実践者が公正なAI実践を確実にするためのツールボックスのドラフトを提案する。
  論文  参考訳（メタデータ） (2020-03-15T20:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。