論文の概要: Towards Uncertainty-Aware Language Agent
- arxiv url: http://arxiv.org/abs/2401.14016v1
- Date: Thu, 25 Jan 2024 08:48:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 15:36:03.158957
- Title: Towards Uncertainty-Aware Language Agent
- Title(参考訳): 不確実性認識言語エージェントに向けて
- Authors: Jiuzhou Han and Wray Buntine and Ehsan Shareghi
- Abstract要約: 不確実性認識言語エージェント(Uncertainty-Aware Language Agent, UALA)は、不確実性定量化を用いてエージェントと外部世界の相互作用を編成するフレームワークである。
実験の結果,UALAは外界への依存度を著しく低くしながら,性能を著しく向上させることがわかった。
- 参考スコア(独自算出の注目度): 11.49422399721136
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Language Agents have achieved promising success by placing Large
Language Models at the core of a more versatile design that dynamically
interacts with the external world, the existing approaches neglect the notion
of uncertainty during these interactions. We present the Uncertainty-Aware
Language Agent (UALA), a framework that orchestrates the interaction between
the agent and the external world using uncertainty quantification. Compared
with other well-known counterparts like ReAct, our extensive experiments across
3 representative tasks (HotpotQA, StrategyQA, MMLU) and various LLM sizes
demonstrates that UALA brings a significant improvement of performance, while
having a substantially lower reliance on the external world (i.e., reduced
number of tool calls and tokens). Our analyses provide various insights
including the great potential of UALA compared with agent fine-tuning, and
underscoring the unreliably of verbalised confidence of LLMs as a proxy for
uncertainty.
- Abstract(参考訳): 言語エージェントは、外界と動的に相互作用するより汎用的な設計の中核に大規模言語モデルを置くことで、有望な成功を収めてきたが、既存のアプローチはこれらの相互作用の間に不確実性の概念を無視している。
不確実性認識言語エージェント(Uncertainty-Aware Language Agent, UALA)は、不確実性定量化を用いてエージェントと外部世界の相互作用を編成するフレームワークである。
ReActのような他のよく知られたものと比較して、我々の3つの代表的なタスク(HotpotQA、StrategyQA、MMLU)と様々なLLMサイズにわたる広範な実験は、UALAがパフォーマンスを大幅に改善する一方で、外部世界(ツールコールやトークンの削減など)への依存が著しく低いことを示している。
本分析は, エージェント微調整と比較して, UALA の大きな可能性や, 不確実性の指標として, LLM の信頼性に欠ける信頼感を裏付ける様々な知見を提供する。
関連論文リスト
- A Comprehensive Study of Multilingual Confidence Estimation on Large
Language Models [22.927967194408634]
本稿では,大規模言語モデルにおける多言語信頼度推定(MlingConf)の包括的検討を紹介する。
本研究では,これらの信頼度スコアが,多言語間での自己抑止を通じてLLM性能を向上させる方法について検討する。
より正確な信頼度を求めるために,言語間信頼度推定法を提案する。
論文 参考訳(メタデータ) (2024-02-21T08:20:06Z) - AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [76.95062553043607]
大きな言語モデル(LLM)を評価することは、その能力を理解し、実践的なアプリケーションへの統合を促進するために不可欠である。
本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
論文 参考訳(メタデータ) (2024-01-24T01:51:00Z) - Relying on the Unreliable: The Impact of Language Models' Reluctance to
Express Uncertainty [58.26600585770745]
誤応答しても,不確かさを表現できないことが判明した。
我々は、人間の実験を行うことで、LM過信のリスクを検証し、ユーザがLM世代に大きく依存していることを示します。
最後に、RLHFアライメントで使用される嗜好注釈付きデータセットを調査し、不確実性のあるテキストに対して人間が偏見を持っていることを確認する。
論文 参考訳(メタデータ) (2024-01-12T18:03:30Z) - AntEval: Evaluation of Social Interaction Competencies in LLM-Driven
Agents [65.16893197330589]
大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。
しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。
本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
論文 参考訳(メタデータ) (2024-01-12T11:18:00Z) - How Far Are We from Believable AI Agents? A Framework for Evaluating the
Believability of Human Behavior Simulation [49.1914375451351]
我々は,AIエージェントの信頼性を評価するための2つの指標,一貫性と堅牢性,およびベンチマークであるSimulateBenchを紹介する。
エージェント (i) が長文入力を提示した場合の文字情報の正確な描写に苦慮していること, (ii) プロファイルの摂動に対する脆弱性を示すこと, (iii) 全体としての信頼性に影響を及ぼす重要な要因に大きく影響していること,などが判明した。
論文 参考訳(メタデータ) (2023-12-28T16:51:11Z) - Exchange-of-Thought: Enhancing Large Language Model Capabilities through
Cross-Model Communication [76.04373033082948]
大規模言語モデル(LLM)は、最近、Chain-of-Thoughtテクニックによる複雑な推論タスクにおいて大きな進歩を遂げました。
本稿では,問題解決時のクロスモデル通信を可能にする新しいフレームワークであるExchange-of-Thought (EoT)を提案する。
論文 参考訳(メタデータ) (2023-12-04T11:53:56Z) - How Trustworthy are Open-Source LLMs? An Assessment under Malicious Demonstrations Shows their Vulnerabilities [37.14654106278984]
我々は,オープンソースのLarge Language Models (LLMs) の信頼性に対する敵意評価を行う。
本稿では,信頼度攻撃のための悪質なデモンストレーションを慎重に行うことで,CoUの促進戦略であるAdvCoUを提案する。
我々の実験は、Vicuna、MPT、Falcon、Mistral、Llama 2など、最近のオープンソースのLLMシリーズを網羅している。
論文 参考訳(メタデータ) (2023-11-15T23:33:07Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in
Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。
アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。
この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
論文 参考訳(メタデータ) (2023-11-14T21:46:27Z) - Shifting Attention to Relevance: Towards the Uncertainty Estimation of
Large Language Models [28.67546891608135]
大規模言語モデル (LLMs) は, 自然言語生成や命令の追従において, 顕著な可能性を示している。
不確実性定量化(UQ)は有望なソリューションであり、LLMのコンテキスト内での正確な実装は依然として大きなハードルである。
我々は,より関連性の高いコンポーネントへの注意をトークンレベルと文レベルの両方で協調的にシフトし,正確な不確かさを推定する。
論文 参考訳(メタデータ) (2023-07-03T22:17:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。