論文の概要: Towards Scalable Automated Alignment of LLMs: A Survey

• arxiv url: http://arxiv.org/abs/2406.01252v3
• Date: Tue, 3 Sep 2024 07:07:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 18:00:58.210193
• Title: Towards Scalable Automated Alignment of LLMs: A Survey
• Title（参考訳）: LLMのスケーラブルな自動アライメントに向けた調査
• Authors: Boxi Cao, Keming Lu, Xinyu Lu, Jiawei Chen, Mengjie Ren, Hao Xiang, Peilin Liu, Yaojie Lu, Ben He, Xianpei Han, Le Sun, Hongyu Lin, Bowen Yu,
• Abstract要約: 本稿では,最近登場した自動アライメントの手法を体系的にレビューする。 既存の自動アライメント手法をアライメント信号のソースに基づいて4つの主要なカテゴリに分類する。 本稿では,アライメントの基本的役割から,自動アライメント技術の実現を可能にする重要な要因について論じる。
• 参考スコア（独自算出の注目度）: 54.820256625544225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Alignment is the most critical step in building large language models (LLMs) that meet human needs. With the rapid development of LLMs gradually surpassing human capabilities, traditional alignment methods based on human-annotation are increasingly unable to meet the scalability demands. Therefore, there is an urgent need to explore new sources of automated alignment signals and technical approaches. In this paper, we systematically review the recently emerging methods of automated alignment, attempting to explore how to achieve effective, scalable, automated alignment once the capabilities of LLMs exceed those of humans. Specifically, we categorize existing automated alignment methods into 4 major categories based on the sources of alignment signals and discuss the current status and potential development of each category. Additionally, we explore the underlying mechanisms that enable automated alignment and discuss the essential factors that make automated alignment technologies feasible and effective from the fundamental role of alignment.
• Abstract（参考訳）: アライメントは、人間のニーズを満たす大規模言語モデル(LLM)を構築する上で最も重要なステップである。 LLMの急速な開発が徐々に人間の能力を超えていく中、人間のアノテーションに基づく従来のアライメント手法は、スケーラビリティの要求を満たすことができなくなっている。 そのため、自動アライメント信号と技術的アプローチの新たな源を探究する必要がある。 本稿では,最近の自動化アライメントの手法を体系的に検討し,LLMの能力が人間の能力を超えれば,効果的でスケーラブルで自動化アライメントを実現する方法について検討する。 具体的には、既存の自動アライメント手法をアライメント信号の源泉に基づく4つの主要なカテゴリに分類し、各カテゴリの現状と潜在的な発展について論じる。 さらに、自動アライメントを可能にするメカニズムについて検討し、アライメントの基本的役割から自動化アライメント技術を実現可能かつ効果的にするための重要な要因について議論する。

関連論文リスト

• Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models [54.381650481255235]
  我々は,Prompt Optimization (O) を用いた動的リワードによる自己アライメントのための新しいチューニング不要アプローチを提案する。 提案手法は,LLMを反復的に自己改善し,最適アライメント命令を作成可能な検索ベース最適化フレームワークを活用する。 近年の8つのLCMのオープンおよびクローズドソースに関する実証評価により,DRPOはアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-11-13T16:15:38Z)
• Position: A Call to Action for a Human-Centered AutoML Paradigm [83.78883610871867]
  自動機械学習(AutoML)は、機械学習(ML)を自動かつ効率的に構成する基本的目的を中心に形成された。 AutoMLの完全な可能性を解き放つ鍵は、現在探索されていないAutoMLシステムとのユーザインタラクションの側面に対処することにある、と私たちは主張する。
  論文  参考訳（メタデータ） (2024-06-05T15:05:24Z)
• Human-Centered Automation [0.3626013617212666]
  この論文は、自動化システムの設計と開発におけるユーザニーズと嗜好を優先するHCA(Human-Centered Automation)の新たな領域について論じている。 本稿は、既存の自動化アプローチの限界、AIとRPAの統合の課題、生産性、イノベーション、そしてこれらの技術へのアクセスを民主化するための人間中心の自動化の利点について論じる。
  論文  参考訳（メタデータ） (2024-05-24T22:12:28Z)
• Combatting Human Trafficking in the Cyberspace: A Natural Language Processing-Based Methodology to Analyze the Language in Online Advertisements [55.2480439325792]
  このプロジェクトは、高度自然言語処理(NLP)技術により、オンラインC2Cマーケットプレースにおける人身売買の急激な問題に取り組む。 我々は、最小限の監督で擬似ラベル付きデータセットを生成する新しい手法を導入し、最先端のNLPモデルをトレーニングするための豊富なリソースとして機能する。 重要な貢献は、Integrated Gradientsを使った解釈可能性フレームワークの実装であり、法執行にとって重要な説明可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-11-22T02:45:01Z)
• Prompts Matter: Insights and Strategies for Prompt Engineering in Automated Software Traceability [45.235173351109374]
  大規模言語モデル(LLM)は、自動化トレーサビリティに革命をもたらす可能性がある。 本稿では,LLMからリンク予測を抽出するプロセスについて検討する。
  論文  参考訳（メタデータ） (2023-08-01T01:56:22Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)
• OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge Collaborative AutoML System [85.8338446357469]
  我々は人間中心のAutoMLシステムであるOmniForceを紹介した。 我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
  論文  参考訳（メタデータ） (2023-03-01T13:35:22Z)
• The Roles and Modes of Human Interactions with Automated Machine Learning Systems [7.670270099306412]
  自動機械学習(AutoML)システムは、洗練とパフォーマンスの両面で進歩を続けている。 これらのフレームワーク内でのヒューマン・コンピュータ・インタラクション(HCI)の方法と理由を理解することが重要である。 このレビューは、現在のAutoMLシステムと将来のAutoMLシステムの両方におけるヒューマンインタラクションの役割とモードの促進を目的とした、重要な研究方向を特定するのに役立つ。
  論文  参考訳（メタデータ） (2022-05-09T09:28:43Z)
• AutonoML: Towards an Integrated Framework for Autonomous Machine Learning [9.356870107137095]
  Reviewは、自動化された自動MLシステムを構成するものに関して、より広範な視点を動機付けようとしている。 その上で、以下の研究領域の開発状況を調査します。 我々は、各トピックによって拡張されたレビューを通して概念的枠組みを開発し、高レベルなメカニズムを自律mlシステムに融合する方法を1つ紹介する。
  論文  参考訳（メタデータ） (2020-12-23T11:01:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。