論文の概要: Measuring Progress on Scalable Oversight for Large Language Models
- arxiv url: http://arxiv.org/abs/2211.03540v1
- Date: Fri, 4 Nov 2022 17:03:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 15:44:11.882132
- Title: Measuring Progress on Scalable Oversight for Large Language Models
- Title(参考訳): 大規模言語モデルのスケーラビリティ監視の進展測定
- Authors: Samuel R. Bowman, Jeeyoon Hyun, Ethan Perez, Edwin Chen, Craig Pettit,
Scott Heiner, Kamile Lukosuite, Amanda Askell, Andy Jones, Anna Chen, Anna
Goldie, Azalia Mirhoseini, Cameron McKinnon, Christopher Olah, Daniela
Amodei, Dario Amodei, Dawn Drain, Dustin Li, Eli Tran-Johnson, Jackson
Kernion, Jamie Kerr, Jared Mueller, Jeffrey Ladish, Joshua Landau, Kamal
Ndousse, Liane Lovitt, Nelson Elhage, Nicholas Schiefer, Nicholas Joseph,
Noem\'i Mercado, Nova DasSarma, Robin Larson, Sam McCandlish, Sandipan Kundu,
Scott Johnston, Shauna Kravec, Sheer El Showk, Stanislav Fort, Timothy
Telleen-Lawton, Tom Brown, Tom Henighan, Tristan Hume, Yuntao Bai, Zac
Hatfield-Dodds, Ben Mann, Jared Kaplan
- Abstract要約: 我々は、人間専門家が成功するが、人間や現在の汎用AIシステムが失敗するタスクを選択することに焦点を当てた実験的な設計を提案する。
チャットを通じて信頼できない大言語モデルダイアログアシスタントと対話する人間の参加者は、モデル単独と自明なパフォーマンスの両方を大幅に上回っていることがわかった。
- 参考スコア(独自算出の注目度): 19.705153174673576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developing safe and useful general-purpose AI systems will require us to make
progress on scalable oversight: the problem of supervising systems that
potentially outperform us on most skills relevant to the task at hand.
Empirical work on this problem is not straightforward, since we do not yet have
systems that broadly exceed our abilities. This paper discusses one of the
major ways we think about this problem, with a focus on how to turn it into one
that can be productively studied empirically. We first present an experimental
design centered on choosing tasks for which human specialists succeed but
unaided humans and current general AI systems fail. We then present a
proof-of-concept experiment following meant to demonstrate a key feature of
this experimental design and show its viability with two question-answering
tasks: MMLU and time-limited QuALITY. On these tasks, we find that human
participants who interact with an unreliable large-language-model dialog
assistant through chat -- a trivial baseline strategy for scalable oversight --
substantially outperform both the model alone and their own unaided
performance. These results are an encouraging sign that scalable oversight will
be tractable to study with present models and bolster recent findings that
large language models can productively assist humans with difficult tasks.
- Abstract(参考訳): 安全で有用な汎用AIシステムを開発するためには、スケーラブルな監視を前進させる必要があります。
この問題に関する実証的な研究は、我々の能力を超えるシステムを持っていないため、簡単ではない。
本稿は, この問題を実証的に研究可能なものにする方法に着目し, この問題に対する考え方の1つについて論じる。
まず、人間専門家が成功するが、人間や現在の汎用AIシステムが失敗するタスクを選択することに焦点を当てた実験的な設計を提案する。
次に、この実験設計の重要な特徴を実証し、2つの質問応答タスク(MMLUと時間制限Qualities)でその実現可能性を示すための概念実証実験を示す。
これらのタスクにおいて、チャットを通じて信頼できない大言語モデルダイアログアシスタントと対話する人間の参加者は、スケーラブルな監視のための自明なベースライン戦略である。
これらの結果は、スケーラブルな監視が現在のモデルで研究し、大きな言語モデルが困難なタスクで人間を生産的に支援できるという最近の知見を裏付けるものである。
関連論文リスト
- Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision [98.97575836717931]
現在のAIアライメント手法は、人間が提供する実演や判断に依存している。
彼らの能力が人間のレベルを超えたとき、システムを改善するにはどうすればよいのか?
論文 参考訳(メタデータ) (2024-03-14T15:12:38Z) - On the Challenges and Opportunities in Generative AI [135.2754367149689]
現在の大規模生成AIモデルは、ドメイン間で広く採用されるのを妨げるいくつかの基本的な問題に十分対応していない、と我々は主張する。
本研究は、現代の生成型AIパラダイムにおける重要な未解決課題を特定し、その能力、汎用性、信頼性をさらに向上するために取り組まなければならない。
論文 参考訳(メタデータ) (2024-02-28T15:19:33Z) - Solving the Right Problem is Key for Translational NLP: A Case Study in
UMLS Vocabulary Insertion [12.855898113768998]
UMLSに数十万の新しい用語が加えられる重要な実世界の課題であるUMLS語彙挿入の事例について検討する。
現実世界のタスクを反映したUMLS語彙挿入の新しい定式化を導入する。
また、重要な新しいモデル行動を可能にする効果的なルール強化バイオメディカル言語モデルを提案する。
論文 参考訳(メタデータ) (2023-11-25T19:35:53Z) - Can Foundation Models Watch, Talk and Guide You Step by Step to Make a
Cake? [62.59699229202307]
AIの進歩にもかかわらず、インタラクティブなタスクガイダンスシステムの開発は依然として大きな課題である。
我々は、人間のユーザと人間のインストラクターとの自然なインタラクションに基づいて、新しいマルチモーダルベンチマークデータセット、ウォッチ、トーク、ガイド(WTaG)を作成しました。
いくつかの基礎モデルを活用して、これらのモデルが認識可能なタスクガイダンスに迅速に適応できるかを調査した。
論文 参考訳(メタデータ) (2023-11-01T15:13:49Z) - Are Emergent Abilities in Large Language Models just In-Context
Learning? [49.953278344511695]
我々は、600万から1750億のパラメータを含む18の大規模言語モデルの厳密なテストを行う。
創発的能力は、主に文脈内学習に比定できるという説得力のある証拠を提供する。
推論能力の出現の証拠は見つからないので、観察能力を駆動するメカニズムについて貴重な洞察を与えることができる。
論文 参考訳(メタデータ) (2023-09-04T20:54:11Z) - Supporting Human-AI Collaboration in Auditing LLMs with LLMs [33.56822240549913]
大きな言語モデルは偏見があり、無責任に振る舞うことが示されている。
これらの言語モデルを厳格に監査することは重要である。
既存の監査ツールは、人間とAIの両方を活用して失敗を見つける。
論文 参考訳(メタデータ) (2023-04-19T21:59:04Z) - Define, Evaluate, and Improve Task-Oriented Cognitive Capabilities for
Instruction Generation Models [5.975913042883176]
最近の研究は、人間のために設計された心理学的テストを通して言語モデルの認知能力を研究する。
我々は、言語モデルがタスクを実行するために利用する人間のような認知能力であるタスク指向認知能力を定式化する。
論文 参考訳(メタデータ) (2022-12-21T04:43:19Z) - Human in the loop approaches in multi-modal conversational task guidance
system development [6.493148232868973]
作業支援のためのタスクガイダンスシステムの開発は,依然として困難な課題である。
まず,このようなシステム開発における課題をいくつか取り上げる。
次に、利用可能な既存のデータセットの概要を説明し、その制限を強調します。
論文 参考訳(メタデータ) (2022-11-03T14:05:30Z) - WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.4875156387271]
我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。
そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
論文 参考訳(メタデータ) (2021-10-27T12:25:21Z) - Watch-And-Help: A Challenge for Social Perception and Human-AI
Collaboration [116.28433607265573]
我々は、AIエージェントでソーシャルインテリジェンスをテストするための課題であるWatch-And-Help(WAH)を紹介する。
WAHでは、AIエージェントは、人間のようなエージェントが複雑な家庭用タスクを効率的に実行するのを助ける必要がある。
マルチエージェントの家庭環境であるVirtualHome-Socialを構築し、計画と学習ベースのベースラインを含むベンチマークを提供する。
論文 参考訳(メタデータ) (2020-10-19T21:48:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。