論文の概要: Exploration with Principles for Diverse AI Supervision

• arxiv url: http://arxiv.org/abs/2310.08899v1
• Date: Fri, 13 Oct 2023 07:03:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 14:01:52.838922
• Title: Exploration with Principles for Diverse AI Supervision
• Title（参考訳）: ダイバーAIスーパービジョンの原理による探索
• Authors: Hao Liu, Matei Zaharia, Pieter Abbeel
• Abstract要約: 次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。 この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。 この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。 本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 88.61687950039662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training large transformers using next-token prediction has given rise to groundbreaking advancements in AI. While this generative AI approach has produced impressive results, it heavily leans on human supervision. Even state-of-the-art AI models like ChatGPT depend on fine-tuning through human demonstrations, demanding extensive human input and domain expertise. This strong reliance on human oversight poses a significant hurdle to the advancement of AI innovation. To address this limitation, we propose a novel paradigm termed Exploratory AI (EAI) aimed at autonomously generating high-quality training data. Drawing inspiration from unsupervised reinforcement learning (RL) pretraining, EAI achieves exploration within the natural language space. We accomplish this by harnessing large language models to assess the novelty of generated content. Our approach employs two key components: an actor that generates novel content following exploration principles and a critic that evaluates the generated content, offering critiques to guide the actor. Empirical evaluations demonstrate that EAI significantly boosts model performance on complex reasoning tasks, addressing the limitations of human-intensive supervision.
• Abstract（参考訳）: 次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩をもたらした。 この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。 ChatGPTのような最先端のAIモデルでさえ、人間のデモを通じて微調整を行い、人間の入力とドメインの専門知識を必要とする。 この人間の監視への強い依存は、AIイノベーションの進歩に大きなハードルとなる。 この制限に対処するために,我々は,高品質なトレーニングデータの自動生成を目的とした新しいパラダイムであるexploratory ai(eai)を提案する。 教師なし強化学習(RL)プレトレーニングからインスピレーションを得たEAIは、自然言語空間内での探索を実現する。 我々は,生成されたコンテンツの新規性を評価するために,大規模言語モデルを用いてこれを実現する。 このアプローチでは,探索原理に従って新たなコンテンツを生成するアクタと,生成したコンテンツを評価する批評家の2つの重要なコンポーネントを用いて,アクタを導くための批判を提供する。 実証的な評価は、EAIが複雑な推論タスクにおけるモデルパフォーマンスを著しく向上させ、人間集約的な監督の限界に対処することを示している。

関連論文リスト

• To Err Is AI! Debugging as an Intervention to Facilitate Appropriate Reliance on AI Systems [11.690126756498223]
  最適な人間とAIのコラボレーションのためのビジョンは、人間のAIシステムへの「適切な依存」を必要とする。 実際には、アウト・オブ・ディストリビューションデータにおける機械学習モデルの性能格差は、データセット固有のパフォーマンスフィードバックを信頼できないものにしている。
  論文  参考訳（メタデータ） (2024-09-22T09:43:27Z)
• Measuring Human Contribution in AI-Assisted Content Generation [68.03658922067487]
  本研究は,AIによるコンテンツ生成における人間の貢献度を測定する研究課題を提起する。 人間の入力とAI支援出力の自己情報に対する相互情報を計算することにより、コンテンツ生成における人間の比例情報貢献を定量化する。
  論文  参考訳（メタデータ） (2024-08-27T05:56:04Z)
• Visions of a Discipline: Analyzing Introductory AI Courses on YouTube [11.209406323898019]
  われわれはYouTubeで最も視聴された20のAIコースを分析した。 導入型AIコースは、AIの倫理的または社会的課題に有意義に関わっていない。 我々は、よりバランスのとれた視点を示すために、AIの倫理的課題を強調しておくことを推奨する。
  論文  参考訳（メタデータ） (2024-05-31T01:48:42Z)
• Generative Artificial Intelligence: A Systematic Review and Applications [7.729155237285151]
  本稿では、ジェネレーティブAIにおける最近の進歩と技術に関する体系的なレビューと分析について述べる。 生成AIがこれまで行った大きな影響は、大きな言語モデルの開発による言語生成である。 論文は、責任あるAIの原則と、これらの生成モデルの持続可能性と成長に必要な倫理的考察から締めくくられる。
  論文  参考訳（メタデータ） (2024-05-17T18:03:59Z)
• A call for embodied AI [1.7544885995294304]
  我々は、人工知能の次の基本ステップとして、エンボディードAIを提案する。 Embodied AIの範囲を広げることで、認知アーキテクチャに基づく理論的枠組みを導入する。 このフレームワークはFristonのアクティブな推論原則と一致しており、EAI開発に対する包括的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-02-06T09:11:20Z)
• Generative AI in Writing Research Papers: A New Type of Algorithmic Bias and Uncertainty in Scholarly Work [0.38850145898707145]
  大規模言語モデル(LLM)と生成AIツールは、バイアスを特定し、対処する上での課題を提示している。 生成型AIツールは、不正な一般化、幻覚、レッド・チーム・プロンプトのような敵攻撃を目標とする可能性がある。 研究原稿の執筆過程に生成AIを組み込むことで,新しいタイプの文脈依存型アルゴリズムバイアスがもたらされることがわかった。
  論文  参考訳（メタデータ） (2023-12-04T04:05:04Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)
• BO-Muse: A human expert and AI teaming framework for accelerated experimental design [58.61002520273518]
  我々のアルゴリズムは、人間の専門家が実験プロセスでリードすることを可能にする。 我々のアルゴリズムは、AIや人間よりも高速に、サブ線形に収束することを示す。
  論文  参考訳（メタデータ） (2023-03-03T02:56:05Z)
• AI Maintenance: A Robustness Perspective [91.28724422822003]
  我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。 本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。 我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
  論文  参考訳（メタデータ） (2023-01-08T15:02:38Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。