論文の概要: LLM Task Interference: An Initial Study on the Impact of Task-Switch in Conversational History

• arxiv url: http://arxiv.org/abs/2402.18216v2
• Date: Fri, 11 Oct 2024 19:05:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:03:14.516933
• Title: LLM Task Interference: An Initial Study on the Impact of Task-Switch in Conversational History
• Title（参考訳）: LLMタスク干渉:会話史におけるタスクスイッチの影響に関する最初の研究
• Authors: Akash Gupta, Ivaxi Sheth, Vyas Raina, Mark Gales, Mario Fritz,
• Abstract要約: 本研究では,会話履歴におけるタスクスイッチによる会話型大言語モデル(LLM)の脆弱性とタスクの干渉について検討する。 実験の結果,タスクスイッチの多くで性能が著しく低下することが判明した。
• 参考スコア（独自算出の注目度）: 45.36907713446517
• License:
• Abstract: With the recent emergence of powerful instruction-tuned large language models (LLMs), various helpful conversational Artificial Intelligence (AI) systems have been deployed across many applications. When prompted by users, these AI systems successfully perform a wide range of tasks as part of a conversation. To provide some sort of memory and context, such approaches typically condition their output on the entire conversational history. Although this sensitivity to the conversational history can often lead to improved performance on subsequent tasks, we find that performance can in fact also be negatively impacted, if there is a task-switch. To the best of our knowledge, our work makes the first attempt to formalize the study of such vulnerabilities and interference of tasks in conversational LLMs caused by task-switches in the conversational history. Our experiments across 5 datasets with 15 task switches using popular LLMs reveal that many of the task-switches can lead to significant performance degradation.
• Abstract（参考訳）: 近年、強力な命令調整型大規模言語モデル(LLM)が出現し、様々な有用な対話型人工知能(AI)システムが多くのアプリケーションに展開されている。 ユーザーから刺激を受けると、これらのAIシステムは会話の一部として幅広いタスクを遂行する。 ある種の記憶とコンテキストを提供するため、そのようなアプローチは通常、会話の歴史全体に対して出力を条件付ける。 会話履歴に対するこの感度は、後続のタスクのパフォーマンス改善につながることが多いが、タスクスイッチがある場合、実際にはパフォーマンスにも悪影響を及ぼす可能性がある。 我々の知識を最大限に活用するために、我々の研究は、会話の歴史におけるタスクスイッチによって引き起こされる会話LLMにおける、そのような脆弱性やタスクの干渉の研究を形式化するための最初の試みである。 15のタスクスイッチを持つ5つのデータセットを対象とした実験により,タスクスイッチの多くは,大幅なパフォーマンス低下につながることが判明した。

関連論文リスト

• Beyond Prompts: Dynamic Conversational Benchmarking of Large Language Models [0.0]
  本稿では,対話エージェントを対象とした動的ベンチマークシステムを提案する。 タスクをインターリーブするために定期的にコンテキストスイッチを行い、エージェントの長期記憶、継続的な学習、情報統合機能を評価する現実的なテストシナリオを構築します。
  論文  参考訳（メタデータ） (2024-09-30T12:01:29Z)
• Finding Task-specific Subnetworks in Multi-task Spoken Language Understanding Model [45.161909551392085]
  ニューラルネットワークプルーニングによるマルチタスク音声言語理解モデルにおけるタスク特定作業の探索を提案する。 プレナードモデルでは,以前トレーニングしたタスクの性能劣化を最小限に抑えつつ,追加のASRやICデータに適応することに成功した。
  論文  参考訳（メタデータ） (2024-06-18T06:39:41Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Reasoning in Conversation: Solving Subjective Tasks through Dialogue Simulation for Large Language Models [56.93074140619464]
  本稿では,対話シミュレーションによる主観的課題の解決に焦点を当てたRiC(Reasoning in Conversation)を提案する。 RiCのモチベーションは、チェーン・オブ・ソート・スタイルの合理性を提供するのではなく、対話をシミュレートすることで有用な文脈情報をマイニングすることである。 GPT-4、ChatGPT、OpenChatなど、APIベースのLLMとオープンソースのLLMの両方を12のタスクで評価する。
  論文  参考訳（メタデータ） (2024-02-27T05:37:10Z)
• Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
  大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。 しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。 本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
  論文  参考訳（メタデータ） (2023-11-09T18:45:16Z)
• Exploring the Integration of Large Language Models into Automatic Speech Recognition Systems: An Empirical Study [0.0]
  本稿では,Large Language Models (LLM) と自動音声認識(ASR)システムの統合について検討する。 我々の主な焦点は、LLMのコンテキスト内学習機能を用いて、ASRシステムの性能を向上させる可能性を調査することである。
  論文  参考訳（メタデータ） (2023-07-13T02:31:55Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
  対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。 本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
  論文  参考訳（メタデータ） (2022-05-11T16:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。