Fugu-MT 論文翻訳(概要): I Need Help! Evaluating LLM's Ability to Ask for Users' Support: A Case Study on Text-to-SQL Generation

論文の概要: I Need Help! Evaluating LLM's Ability to Ask for Users' Support: A Case Study on Text-to-SQL Generation

arxiv url: http://arxiv.org/abs/2407.14767v1
Date: Sat, 20 Jul 2024 06:12:29 GMT
ステータス: 処理完了
システム内更新日: 2024-07-23 20:54:16.034656
Title: I Need Help! Evaluating LLM's Ability to Ask for Users' Support: A Case Study on Text-to-SQL Generation
Title（参考訳）: 助けが必要! LLM のユーザサポートに対する質問能力の評価:テキストからSQL生成を事例として
Authors: Cheng-Kuang Wu, Zhi Rui Tam, Chao-Chung Wu, Chieh-Yen Lin, Hung-yi Lee, Yun-Nung Chen,
Abstract要約: 性能改善とユーザ負担のトレードオフを評価する指標を提案する。実験の結果、外部からのフィードバックがなければ、多くのLCMは追加的なサポートの必要性を認識するのに苦労していることがわかった。
参考スコア（独自算出の注目度）: 60.00337758147594
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: In this study, we explore the proactive ability of LLMs to seek user support, using text-to-SQL generation as a case study. We propose metrics to evaluate the trade-off between performance improvements and user burden, and investigate whether LLMs can determine when to request help and examine their performance with varying levels of information availability. Our experiments reveal that without external feedback, many LLMs struggle to recognize their need for additional support. Our findings highlight the importance of external signals and provide insights for future research on improving support-seeking strategies.
Abstract（参考訳）: 本研究では,テキスト-SQL 生成を事例として,LCM がユーザサポートを求める積極的な能力について検討する。本稿では,性能改善とユーザ負担のトレードオフを評価する指標を提案し,LLMがいつ支援を要請するかを判断し,その性能を様々なレベルの情報提供量で検証できるかどうかを検討する。実験の結果、外部からのフィードバックがなければ、多くのLCMは追加的なサポートの必要性を認識するのに苦労していることがわかった。本研究は, 外部信号の重要性を強調し, 今後の支援探索戦略の改善に向けた知見を提供するものである。

関連論文リスト

Enhancing Temporal Understanding in LLMs for Semi-structured Tables [50.59009084277447]
我々は、大規模言語モデル(LLM)の特定の限界を特定するために、時間的データセットの包括的な分析を行う。調査の結果,時間的時間的質問応答に特化したデータセットであるTempTabQAが強化された。我々は,この領域におけるLLM機能を強化するために,新しいアプローチC.L.E.A.R.を導入する。
論文参考訳（メタデータ） (2024-07-22T20:13:10Z)
CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
論文参考訳（メタデータ） (2024-07-15T07:43:55Z)
Self-Evolving GPT: A Lifelong Autonomous Experiential Learner [40.16716983217304]
大規模言語モデル(LLM)に基づく生涯の自律的経験学習フレームワークを設計する。自律的に学習し、経験の伝達と帰納を通じて経験を蓄積し、どのような種類の入力質問を分類し、どの蓄積された経験を雇用するかを選択する。 6つのNLPデータセットによる実験結果から,本フレームワークは各中間段階において確実に動作し,GPT-3.5およびGPT-4の性能を効果的に向上することが示された。
論文参考訳（メタデータ） (2024-07-12T02:49:13Z)
Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文参考訳（メタデータ） (2024-06-19T00:28:58Z)
LLM In-Context Recall is Prompt Dependent [0.0]
これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
論文参考訳（メタデータ） (2024-04-13T01:13:59Z)
Benchmarking the Text-to-SQL Capability of Large Language Models: A Comprehensive Evaluation [33.41556606816004]
大規模言語モデル(LLM)は、テキストからタスクへ進むための強力なツールとして登場した。最適なプロンプトテンプレートと設計フレームワークについてはまだ合意が得られていない。既存のベンチマークでは、テキスト・ツー・プロセスの様々なサブタスクにまたがるLCMのパフォーマンスが不十分である。
論文参考訳（メタデータ） (2024-03-05T13:23:48Z)
Why and When LLM-Based Assistants Can Go Wrong: Investigating the Effectiveness of Prompt-Based Interactions for Software Help-Seeking [5.755004576310333]
大規模言語モデル(LLM)アシスタントは、ユーザーがソフトウェアをナビゲートするための検索方法の潜在的な代替手段として登場した。 LLMアシスタントは、ドメイン固有のテキスト、ソフトウェアマニュアル、コードリポジトリからの膨大なトレーニングデータを使用して、人間のようなインタラクションを模倣する。
論文参考訳（メタデータ） (2024-02-12T19:49:58Z)
Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文参考訳（メタデータ） (2023-08-29T14:59:54Z)
Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [91.30946119104111]
大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
論文参考訳（メタデータ） (2023-07-20T16:46:10Z)
ToolQA: A Dataset for LLM Question Answering with External Tools [14.408707186450899]
大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を示した。彼らはまだ幻覚や弱い数値推論のような困難に悩まされている。これらの課題を克服するために、LLMの質問応答能力を高めるために外部ツールを使用することができる。
論文参考訳（メタデータ） (2023-06-23T05:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。