論文の概要: AI Alignment through Reinforcement Learning from Human Feedback? Contradictions and Limitations

• arxiv url: http://arxiv.org/abs/2406.18346v1
• Date: Wed, 26 Jun 2024 13:42:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 13:19:36.071572
• Title: AI Alignment through Reinforcement Learning from Human Feedback? Contradictions and Limitations
• Title（参考訳）: 人間のフィードバックからの強化学習によるAIアライメント : 矛盾と限界
• Authors: Adam Dahlgren Lindström, Leila Methnani, Lea Krause, Petter Ericson, Íñigo Martínez de Rituerto de Troya, Dimitri Coelho Mollo, Roel Dobbe,
• Abstract要約: 我々は、誠実さ、無害さ、役に立つという、広く追求されたアライメント目標の欠点を示す。 我々はRLxFの目標に固有の緊張と矛盾を強調する。 我々は、RLxFの社会技術的影響を批判的に評価するよう研究者や実践者に促すことで結論付ける。
• 参考スコア（独自算出の注目度）: 0.2106667480549292
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper critically evaluates the attempts to align Artificial Intelligence (AI) systems, especially Large Language Models (LLMs), with human values and intentions through Reinforcement Learning from Feedback (RLxF) methods, involving either human feedback (RLHF) or AI feedback (RLAIF). Specifically, we show the shortcomings of the broadly pursued alignment goals of honesty, harmlessness, and helpfulness. Through a multidisciplinary sociotechnical critique, we examine both the theoretical underpinnings and practical implementations of RLxF techniques, revealing significant limitations in their approach to capturing the complexities of human ethics and contributing to AI safety. We highlight tensions and contradictions inherent in the goals of RLxF. In addition, we discuss ethically-relevant issues that tend to be neglected in discussions about alignment and RLxF, among which the trade-offs between user-friendliness and deception, flexibility and interpretability, and system safety. We conclude by urging researchers and practitioners alike to critically assess the sociotechnical ramifications of RLxF, advocating for a more nuanced and reflective approach to its application in AI development.
• Abstract（参考訳）: 本稿では,人工知能(AI)システム,特にLarge Language Models(LLMs)を,人間のフィードバック(RLHF)とAIフィードバック(RLAIF)のいずれにもかかわるReinforcement Learning from Feedback(RLxF)手法を通じて,人間の価値と意図に合わせる試みを批判的に評価する。 具体的には、誠実さ、無害さ、役立たずという、広く追求されたアライメント目標の欠点を示す。 多分野の社会技術的批判を通じて、RLxF技術の理論的基盤と実践的実装の両方を検証し、人間の倫理の複雑さを捉え、AIの安全性に寄与するアプローチにおける重要な限界を明らかにした。 我々はRLxFの目標に固有の緊張と矛盾を強調する。 さらに、アライメントとRLxFに関する議論において無視される傾向にある倫理的問題について論じ、その中では、ユーザフレンドリさと騙し、柔軟性と解釈可能性、システム安全性のトレードオフについて論じる。 我々は、研究者や実践者がRLxFの社会技術的影響を批判的に評価するよう促すことで、AI開発におけるその応用に対するよりニュアンスで反射的なアプローチを提唱する。

関連論文リスト

• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Towards Bidirectional Human-AI Alignment: A Systematic Review for Clarifications, Framework, and Future Directions [101.67121669727354]
  近年のAIの進歩は、AIシステムを意図された目標、倫理的原則、個人とグループの価値に向けて導くことの重要性を強調している。 人間のAIアライメントの明確な定義とスコープの欠如は、このアライメントを達成するための研究領域間の共同作業を妨げる、大きな障害となる。 我々は、2019年から2024年1月までに400以上の論文を体系的にレビューし、HCI(Human-Computer Interaction)、自然言語処理(NLP)、機械学習(ML)といった複数の分野にまたがって紹介する。
  論文  参考訳（メタデータ） (2024-06-13T16:03:25Z)
• RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs [49.386699863989335]
  大きな言語モデル(LLM)を訓練し、人間の効果的なアシスタントとして機能させるには、慎重に検討する必要がある。 有望なアプローチとして、人間からのフィードバック(RLHF)からの強化学習がある。 本稿では、強化学習原理のレンズを通してRLHFを分析し、その基礎を理解する。
  論文  参考訳（メタデータ） (2024-04-12T15:54:15Z)
• Quantifying AI Vulnerabilities: A Synthesis of Complexity, Dynamical Systems, and Game Theory [0.0]
  システム複雑度指数(SCI)、Lyapunov Exponent for AI stability(LEAIS)、Nash Equilibrium Robustness(NER)の3つの指標を導入する新しいアプローチを提案する。 SCIはAIシステムの固有の複雑さを定量化し、LEAISはその安定性と摂動に対する感受性を捉え、NERは敵の操作に対する戦略的堅牢性を評価する。
  論文  参考訳（メタデータ） (2024-04-07T07:05:59Z)
• Towards Human-AI Deliberation: Design and Evaluation of LLM-Empowered Deliberative AI for AI-Assisted Decision-Making [47.33241893184721]
  AIによる意思決定において、人間はしばしばAIの提案を受動的にレビューし、それを受け入れるか拒否するかを決定する。 意思決定における人間-AIの意見の対立に関する議論と人間のリフレクションを促進する新しい枠組みであるHuman-AI Deliberationを提案する。 人間の熟考の理論に基づいて、この枠組みは人間とAIを次元レベルの意見の引用、熟考的議論、意思決定の更新に携わる。
  論文  参考訳（メタデータ） (2024-03-25T14:34:06Z)
• Methodological reflections for AI alignment research using human feedback [0.0]
  AIアライメントは、AI技術が人間の関心や価値観、機能と安全で倫理的な方法で一致しているかどうかを調査することを目的としている。 LLMは、予測が難しい方法で学習し、適応する能力があるため、意図しない行動を示す可能性がある。
  論文  参考訳（メタデータ） (2022-12-22T14:27:33Z)
• Achieving a Data-driven Risk Assessment Methodology for Ethical AI [3.523208537466128]
  我々は,AIを用いた組織が直面する倫理的・社会的リスクの実践的定義の基盤として,多分野の研究アプローチが重要であることを示す。 本稿では,DRESS-eAIという新たなリスク評価手法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:55:33Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)
• Transdisciplinary AI Observatory -- Retrospective Analyses and Future-Oriented Contradistinctions [22.968817032490996]
  本稿では、本質的に学際的なAI観測アプローチの必要性を動機づける。 これらのAI観測ツールに基づいて、我々はAIの安全性に関する短期的な学際的ガイドラインを提示する。
  論文  参考訳（メタデータ） (2020-11-26T16:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。