論文の概要: Evaluating Language-Model Agents on Realistic Autonomous Tasks
- arxiv url: http://arxiv.org/abs/2312.11671v2
- Date: Thu, 4 Jan 2024 18:46:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-05 16:56:39.936682
- Title: Evaluating Language-Model Agents on Realistic Autonomous Tasks
- Title(参考訳): 現実的自律課題における言語モデルエージェントの評価
- Authors: Megan Kinniment, Lucas Jun Koba Sato, Haoxing Du, Brian Goodrich, Max
Hasin, Lawrence Chan, Luke Harold Miles, Tao R. Lin, Hjalmar Wijk, Joel
Burget, Aaron Ho, Elizabeth Barnes and Paul Christiano
- Abstract要約: 本報告では,言語モデルエージェントが資源を取得し,自分自身のコピーを作成し,野生で遭遇する新たな課題に適応する能力について検討する。
ARAの能力は広範かつ予測しにくい結果をもたらす可能性があると我々は信じている。
システムがARAを使えるようになると、システムの能力にバウンダリを置くことがかなり難しくなります。
- 参考スコア(独自算出の注目度): 3.2859441839446832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this report, we explore the ability of language model agents to acquire
resources, create copies of themselves, and adapt to novel challenges they
encounter in the wild. We refer to this cluster of capabilities as "autonomous
replication and adaptation" or ARA. We believe that systems capable of ARA
could have wide-reaching and hard-to-anticipate consequences, and that
measuring and forecasting ARA may be useful for informing measures around
security, monitoring, and alignment. Additionally, once a system is capable of
ARA, placing bounds on a system's capabilities may become significantly more
difficult.
We construct four simple example agents that combine language models with
tools that allow them to take actions in the world. We then evaluate these
agents on 12 tasks relevant to ARA. We find that these language model agents
can only complete the easiest tasks from this list, although they make some
progress on the more challenging tasks. Unfortunately, these evaluations are
not adequate to rule out the possibility that near-future agents will be
capable of ARA. In particular, we do not think that these evaluations provide
good assurance that the ``next generation'' of language models (e.g. 100x
effective compute scaleup on existing models) will not yield agents capable of
ARA, unless intermediate evaluations are performed during pretraining.
Relatedly, we expect that fine-tuning of the existing models could produce
substantially more competent agents, even if the fine-tuning is not directly
targeted at ARA.
- Abstract(参考訳): 本報告では,言語モデルエージェントがリソースを取得し,自己のコピーを作成し,野生で遭遇する新たな課題に適応する能力について検討する。
この機能のクラスタを "自己複製と適応" あるいは ARA と呼んでいる。
セキュリティ,監視,アライメントに関して,ARAを計測し,予測することは,セキュリティ,監視,アライメントに関する指標を示す上で有用である,と我々は考えている。
さらに、システムがARAを使えるようになると、システムの能力にバウンダリを置くことがかなり難しくなります。
我々は、言語モデルと、世界で行動を起こすためのツールを組み合わせた、単純な4つのサンプルエージェントを構築します。
次に、これらのエージェントをARAに関連する12のタスクで評価する。
これらの言語モデルエージェントは、このリストから最も簡単なタスクしか完了できないが、より困難なタスクについては前進している。
残念ながら、これらの評価は、近未来のエージェントがARAを実現できる可能性を排除するには不十分である。
特に、これらの評価が言語モデルの‘next generation’’(例えば、既存のモデルにおける100倍の効率的な計算スケールアップ)が、事前訓練中に中間評価を行わない限り、ARAが可能なエージェントを得られないことを保証できるとは考えていない。
関連して、既存のモデルの微調整がARAを直接対象としていない場合でも、より有能なエージェントを生み出すことが期待されている。
関連論文リスト
- LARA: Linguistic-Adaptive Retrieval-Augmented LLMs for Multi-Turn Intent Classification [0.0]
LARA(Linguistic-Adaptive Retrieval-Augmented Language Models)を導入し、6言語にわたるマルチターン分類タスクの精度を向上させる。
LARAは、微調整された小さなモデルと検索拡張機構を組み合わせることで、大きな言語モデルのアーキテクチャに組み込まれる。
総合的な実験により、LARAはマルチターン意図分類タスクにおいて最先端のパフォーマンスを達成し、既存の手法と比較して平均精度を3.67%向上することを示した。
論文 参考訳(メタデータ) (2024-03-25T07:38:40Z) - ESG Classification by Implicit Rule Learning via GPT-4 [1.9702372005978506]
本稿では,GPT-4のような最先端言語モデルが未知のESG評価基準に適合するようにガイドできるかどうかを検討する。
韓国における共有タスクML-ESG-3Impact Type Trackの2位にランク付けすることで,これらのアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2024-03-22T08:45:30Z) - KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents [54.09074527006576]
大規模言語モデル(LLM)は複雑な推論タスクにおいて大きな可能性を証明していますが、より高度な課題に取り組むには不十分です。
この不適切さは、主に言語エージェントのアクション知識が組み込まれていないことに起因する。
我々は、明示的な行動知識を取り入れることで、LLMの計画能力を高めるために設計された新しいアプローチであるKnowAgentを紹介する。
論文 参考訳(メタデータ) (2024-03-05T16:39:12Z) - DPP-Based Adversarial Prompt Searching for Lanugage Models [56.73828162194457]
Auto-Regressive Selective Replacement Ascent (ASRA)は、決定点プロセス(DPP)と品質と類似性の両方に基づいてプロンプトを選択する離散最適化アルゴリズムである。
6種類の事前学習言語モデルに対する実験結果から,ASRAによる有害成分の抽出の有効性が示された。
論文 参考訳(メタデータ) (2024-03-01T05:28:06Z) - DIALIGHT: Lightweight Multilingual Development and Evaluation of
Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。
ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。
評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
論文 参考訳(メタデータ) (2024-01-04T11:27:48Z) - KwaiAgents: Generalized Information-seeking Agent System with Large
Language Models [33.59597020276034]
人間は批判的思考、計画、リフレクション、世界と対話し解釈するための利用可能なツールの活用に優れています。
大規模言語モデル(LLM)の最近の進歩は、マシンが前述の人間のような能力を持っていることも示唆している。
LLMに基づく汎用情報検索システムであるKwaiAgentsを紹介する。
論文 参考訳(メタデータ) (2023-12-08T08:11:11Z) - Improving Activation Steering in Language Models with Mean-Centring [10.101141087916133]
目標データセットに関連付けられたアクティベーションの平均値と、トレーニングアクティベーションの平均値を減じることで、効果的なステアリングベクトルが得られることがわかった。
また、関数ベクトルを抽出するために平均セントリングを適用し、より効果的に自然言語タスクの実行を顕著なマージンでトリガーする。
論文 参考訳(メタデータ) (2023-12-06T18:27:07Z) - Improving Factuality and Reasoning in Language Models through Multiagent
Debate [95.10641301155232]
複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。
以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。
我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
論文 参考訳(メタデータ) (2023-05-23T17:55:11Z) - A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。
近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。
パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳(メタデータ) (2023-03-31T17:28:46Z) - Bridging the Gap Between Training and Inference of Bayesian Controllable
Language Models [58.990214815032495]
大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。
BCLMは制御可能な言語生成において効率的であることが示されている。
本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
論文 参考訳(メタデータ) (2022-06-11T12:52:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。