論文の概要: Foundational Challenges in Assuring Alignment and Safety of Large Language Models
- arxiv url: http://arxiv.org/abs/2404.09932v2
- Date: Fri, 6 Sep 2024 00:46:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 20:23:44.311157
- Title: Foundational Challenges in Assuring Alignment and Safety of Large Language Models
- Title(参考訳): 大規模言語モデルのアライメントと安全性確保における基礎的課題
- Authors: Usman Anwar, Abulhair Saparov, Javier Rando, Daniel Paleka, Miles Turpin, Peter Hase, Ekdeep Singh Lubana, Erik Jenner, Stephen Casper, Oliver Sourbut, Benjamin L. Edelman, Zhaowei Zhang, Mario Günther, Anton Korinek, Jose Hernandez-Orallo, Lewis Hammond, Eric Bigelow, Alexander Pan, Lauro Langosco, Tomasz Korbak, Heidi Zhang, Ruiqi Zhong, Seán Ó hÉigeartaigh, Gabriel Recchia, Giulio Corsi, Alan Chan, Markus Anderljung, Lilian Edwards, Aleksandar Petrov, Christian Schroeder de Witt, Sumeet Ramesh Motwan, Yoshua Bengio, Danqi Chen, Philip H. S. Torr, Samuel Albanie, Tegan Maharaj, Jakob Foerster, Florian Tramer, He He, Atoosa Kasirzadeh, Yejin Choi, David Krueger,
- Abstract要約: この研究は、大規模言語モデル(LLM)のアライメントと安全性の確保における18の基本的な課題を特定する。
特定された課題に基づいて、200ドル以上の具体的な研究質問を投げかけます。
- 参考スコア(独自算出の注目度): 171.01569693871676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work identifies 18 foundational challenges in assuring the alignment and safety of large language models (LLMs). These challenges are organized into three different categories: scientific understanding of LLMs, development and deployment methods, and sociotechnical challenges. Based on the identified challenges, we pose $200+$ concrete research questions.
- Abstract(参考訳): この研究は、大規模言語モデル(LLM)のアライメントと安全性を確保する上で、18の基本的な課題を特定する。
これらの課題は, LLMの科学的理解, 開発と展開の方法, 社会工学的課題の3つのカテゴリに分類される。
特定された課題に基づいて、200ドル以上の具体的な研究質問を投げかけます。
関連論文リスト
- Deep Learning Under Siege: Identifying Security Vulnerabilities and Risk Mitigation Strategies [0.5062312533373299]
我々は、本番環境にデプロイされた現在のディープラーニングモデルに関連するセキュリティ上の課題を提示し、将来のDL技術の課題を予想する。
本稿では,これらの課題を抑制するためのリスク軽減手法を提案し,これらの指標の有効性を測定するための計量評価を行う。
論文 参考訳(メタデータ) (2024-09-14T19:54:12Z) - SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。
本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。
我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
論文 参考訳(メタデータ) (2024-09-11T17:37:48Z) - The VoxCeleb Speaker Recognition Challenge: A Retrospective [75.40776645175585]
VoxCeleb Speaker Recognition Challenges (VoxSRC)は、2019年から2023年にかけて毎年開催される一連の課題とワークショップである。
課題は主に、様々な環境下で話者認識とダイアリゼーションのタスクを評価した。
私たちは、これらの課題について、彼らが何を探求したのか、課題参加者によって開発された方法、そしてそれらがどのように進化したのかをレビューします。
論文 参考訳(メタデータ) (2024-08-27T08:57:31Z) - Maintainability Challenges in ML: A Systematic Literature Review [5.669063174637433]
本研究の目的は,機械学習ワークフローのさまざまな段階における保守性課題を特定し,合成することである。
13,000件以上の論文を審査し、56件を質的に分析した。
論文 参考訳(メタデータ) (2024-08-17T13:24:15Z) - Overview of AI-Debater 2023: The Challenges of Argument Generation Tasks [62.443665295250035]
第2023回中国影響コンピューティング会議(CCAC 2023)におけるAI-Debater 2023チャレンジの結果を提示する。
合計で32のチームがチャレンジに登録し、そこから11の応募をもらいました。
論文 参考訳(メタデータ) (2024-07-20T10:13:54Z) - Puzzle Solving using Reasoning of Large Language Models: A Survey [1.9939549451457024]
本稿では,Large Language Models (LLMs) のパズル解法における能力について検討する。
以上の結果から,LLM能力と人為的推論の相違が明らかとなった。
この調査は、LLMのパズル解決能力を向上させるために、新しい戦略とよりリッチなデータセットの必要性を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-17T14:19:38Z) - The Robust Semantic Segmentation UNCV2023 Challenge Results [99.97867942388486]
本稿では,ICCV 2023で実施されたMUAD不確実性定量化問題に対処するために用いられる勝利解について概説する。
この課題は、都市環境におけるセマンティックセグメンテーションを中心に、特に自然の敵対的なシナリオに焦点を当てた。
本報告では, 最先端の不確実性定量化手法からインスピレーションを得た19件の論文を提示する。
論文 参考訳(メタデータ) (2023-09-27T08:20:03Z) - Some challenges of calibrating differentiable agent-based models [0.0]
エージェントベースモデル(ABM)は複雑なシステムのモデリングと推論に有望なアプローチである。
それらの応用は、その複雑さ、離散的性質、パラメータ推論と最適化タスクの実行の難しさによって妨げられている。
論文 参考訳(メタデータ) (2023-07-03T15:07:10Z) - An investigation of challenges encountered when specifying training data
and runtime monitors for safety critical ML applications [5.553426007439564]
機械学習(ML)モデルを含むクリティカルソフトウェアの開発と運用には、厳格さと確立されたプロセスが必要である。
重要なMLモデルに対するトレーニングデータとランタイム監視の指定方法に大きな不確実性が見られる。
論文 参考訳(メタデータ) (2023-01-31T08:56:40Z) - Retrospectives on the Embodied AI Workshop [238.302290980995]
CVPRのEmbodied AI Workshopで発表された13の課題に注目します。
これらの課題は,(1)視覚ナビゲーション,(2)再構成,(3)視覚と言語を具現化した3つのテーマに分類される。
本稿では,各テーマにおける支配的データセット,課題評価指標,最先端モデルの性能について論じる。
論文 参考訳(メタデータ) (2022-10-13T09:00:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。