論文の概要: MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language
Feedback
- arxiv url: http://arxiv.org/abs/2309.10691v1
- Date: Tue, 19 Sep 2023 15:25:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 13:53:36.970016
- Title: MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language
Feedback
- Title(参考訳): MINT: ツールと言語フィードバックとのマルチターンインタラクションにおけるLLMの評価
- Authors: Xingyao Wang, Zihan Wang, Jiateng Liu, Yangyi Chen, Lifan Yuan, Hao
Peng, Heng Ji
- Abstract要約: 我々はMINTベンチマークを導入し、大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価する。
LLMは一般的に、ツールインタラクションと言語フィードバックの恩恵を受けます。
- 参考スコア(独自算出の注目度): 78.60644407028022
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To solve complex tasks, large language models (LLMs) often require multiple
rounds of interactions with the user, sometimes assisted by external tools.
However, current evaluation paradigms often focus solely on benchmark
performance with single-turn exchanges, neglecting the intricate interactions
among the user, LLMs, and external tools, creating a discrepancy between
benchmark evaluation and real-world use cases. We introduce MINT benchmark to
evaluate LLMs' ability to solve tasks with multi-turn interactions by (1) using
tools and (2) leveraging natural language feedback. To ensure reproducibility,
we provide an evaluation framework where LLMs can access tools by executing
Python code and receive natural language feedback from the user simulated with
GPT-4. We repurpose a diverse set of established datasets and tasks focusing on
reasoning, coding, and decision-making and carefully curate them into a compact
subset of instances for efficient evaluation. Our analysis of 20 open- and
closed-source LLMs offers intriguing findings. (1) LLMs generally benefit from
tool interactions and language feedback, with performance gains (absolute, same
below) of 1--8% per additional turn with tool use and 2--17% with natural
language feedback. (2) Better single-turn performance does not guarantee better
multi-turn performance. (3) Surprisingly, on LLMs we evaluated, we found
supervised instruction-finetuning (SIFT) and reinforcement learning from human
feedback (RLHF) generally hurt multi-turn capabilities. We hope MINT can help
measure progress and incentivize research in improving LLMs' capabilities in
multi-turn interactions, especially for open-source communities where
multi-turn human evaluation has been less accessible compared to commercial
LLMs with a larger user base.
- Abstract(参考訳): 複雑なタスクを解決するために、大規模な言語モデル(llm)は、しばしばユーザとの対話の複数のラウンドを必要とする。
しかしながら、現在の評価パラダイムは、シングルターン交換によるベンチマークパフォーマンスのみに焦点を当て、ユーザ、LLM、および外部ツール間の複雑な相互作用を無視し、ベンチマーク評価と実世界のユースケースの相違を生んでいることが多い。
我々はMINTベンチマークを導入し,(1)ツールと(2)自然言語フィードバックの活用によるマルチターンインタラクションによるタスク解決能力の評価を行った。
再現性を確保するため,LLMはPythonコードを実行し,GPT-4でシミュレーションしたユーザから自然言語フィードバックを受け取ることで,ツールにアクセス可能な評価フレームワークを提供する。
我々は、推論、コーディング、意思決定に焦点を当てた、確立されたデータセットとタスクの多様なセットを再利用し、それらをより効率的な評価のためにインスタンスのコンパクトなサブセットに注意深くキュレーションします。
20のオープンソースおよびクローズドソース LLM の解析は興味深い結果をもたらす。
1) LLMはツールのインタラクションや言語フィードバックの恩恵を受けており, ツール使用では1~8%, 自然言語フィードバックでは2~17%, パフォーマンス向上率は1~8%であった。
2) シングルターン性能が向上しても,マルチターン性能は向上しない。
3) LLMでは, 教師あり指導ファインタニング(SIFT)と人間フィードバックからの強化学習(RLHF)が多ターン機能に悪影響を及ぼすことが認められた。
我々は、MINTが、マルチターンインタラクションにおけるLCMの能力向上の研究、特にマルチターンヒューマンアセスメントの少ないオープンソースコミュニティの進歩を計測し、インセンティブを高めることができることを期待している。
関連論文リスト
- FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - Efficient Tool Use with Chain-of-Abstraction Reasoning [65.18096363216574]
大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。
マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。
マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-30T21:53:30Z) - Can Large Language Models be Trusted for Evaluation? Scalable
Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。
フレームワークのコードをGitHubで公開しています。
論文 参考訳(メタデータ) (2024-01-30T07:03:32Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳(メタデータ) (2023-11-30T03:59:31Z) - MLLM-Bench, Evaluating Multi-modal LLMs using GPT-4V [44.0908994116986]
視覚言語モデル(MLLM)は、人間の脳のマルチモーダル能力に合わせて、AIアプリケーションを拡張した。
MLLMの有効性を評価することは、不十分な回答を欠くタスクの主観的な性質のために大きな課題となる。
MLLM-Benchは、Vicunaにインスパイアされた革新的なベンチマークで、さまざまなシナリオにまたがる。
論文 参考訳(メタデータ) (2023-11-23T12:04:25Z) - Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness
and Ethics [32.123919380959485]
MLLM(Multi-modal large language model)は、大規模言語モデル(LLM)に基づいて訓練される。
マルチモーダルなタスクでは優れているが、MLLMの純粋なNLP能力はしばしば過小評価され、テストされていない。
LLMをMLLMに移行するための一般的な戦略である視覚的インストラクションチューニングは、予期せぬ、興味深いことに、改善された真理性と倫理的整合性の両方を達成するのに役立ちます。
論文 参考訳(メタデータ) (2023-09-13T17:57:21Z) - Through the Lens of Core Competency: Survey on Evaluation of Large
Language Models [27.271533306818732]
大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。
既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。
LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。
この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
論文 参考訳(メタデータ) (2023-08-15T17:40:34Z) - ToolQA: A Dataset for LLM Question Answering with External Tools [14.408707186450899]
大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を示した。
彼らはまだ幻覚や弱い数値推論のような困難に悩まされている。
これらの課題を克服するために、LLMの質問応答能力を高めるために外部ツールを使用することができる。
論文 参考訳(メタデータ) (2023-06-23T05:43:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。