論文の概要: Supporting Sensemaking of Large Language Model Outputs at Scale

• arxiv url: http://arxiv.org/abs/2401.13726v1
• Date: Wed, 24 Jan 2024 18:45:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 16:49:00.277679
• Title: Supporting Sensemaking of Large Language Model Outputs at Scale
• Title（参考訳）: 大規模言語モデル出力の大規模化支援
• Authors: Katy Ilonka Gero, Chelse Swoopes, Ziwei Gu, Jonathan K. Kummerfeld, Elena L. Glassman
• Abstract要約: 大規模言語モデル(LLM)は、1つのプロンプトに対して複数の応答を生成することができる。 テキスト文書間の類似性や相違点を計算するための,既存の手法と新しい手法の両方を含む5つの特徴を設計する。 これらの機能は多様なセンスメイキングタスクをサポートしており、これまでは参加者が難しすぎると考えられていたタスクを、現在抽出可能であることも分かっています。
• 参考スコア（独自算出の注目度）: 21.763460834412776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are capable of generating multiple responses to a single prompt, yet little effort has been expended to help end-users or system designers make use of this capability. In this paper, we explore how to present many LLM responses at once. We design five features, which include both pre-existing and novel methods for computing similarities and differences across textual documents, as well as how to render their outputs. We report on a controlled user study (n=24) and eight case studies evaluating these features and how they support users in different tasks. We find that the features support a wide variety of sensemaking tasks and even make tasks previously considered to be too difficult by our participants now tractable. Finally, we present design guidelines to inform future explorations of new LLM interfaces.
• Abstract（参考訳）: 大規模言語モデル(llm)は単一のプロンプトに対して複数のレスポンスを生成することができるが、エンドユーザやシステム設計者がこの機能を利用するのを助ける努力はほとんどない。 本稿では,多数のLDM応答を同時に提示する方法を考察する。 我々は,テキスト文書間の類似性や相違点の計算方法,出力のレンダリング方法など,既存の手法と新しい手法の両方を含む5つの特徴を設計する。 本報告では,制御型ユーザスタディ(n=24)と,これらの機能を評価した8つのケーススタディについて報告する。 これらの機能は多様なセンスメイキングタスクをサポートしており、これまでは参加者が難しすぎると考えられていたタスクまでも実現している。 最後に,新しいllmインタフェースの今後の展開を知らせる設計ガイドラインを提案する。

関連論文リスト

• A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks [0.0]
  大規模言語モデル(LLM)は多くの異なる自然言語処理(NLP)タスクにおいて顕著なパフォーマンスを示している。 プロンプトエンジニアリングは、大きなパフォーマンス向上を達成するために、既に存在するLLMの能力に追加する上で重要な役割を担います。 本稿では、異なるプロンプト手法を要約し、それらが用いた異なるNLPタスクに基づいてそれらをまとめる。
  論文  参考訳（メタデータ） (2024-07-17T20:23:19Z)
• Tool Learning with Large Language Models: A Survey [60.733557487886635]
  大規模言語モデル(LLM)を用いたツール学習は,高度に複雑な問題に対処するLLMの能力を強化するための,有望なパラダイムとして登場した。 この分野での注目と急速な進歩にもかかわらず、現存する文献は断片化され、体系的な組織が欠如している。
  論文  参考訳（メタデータ） (2024-05-28T08:01:26Z)
• Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
  本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。 本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
  論文  参考訳（メタデータ） (2024-02-26T20:33:50Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Large Language Models for Generative Information Extraction: A Survey [89.71273968283616]
  情報抽出は、平易な自然言語テキストから構造的知識を抽出することを目的としている。 生成型大規模言語モデル(LLM)は、テキストの理解と生成において顕著な能力を示した。 LLMは生成パラダイムに基づいたIEタスクに対して実行可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-12-29T14:25:22Z)
• Beyond Text: Unveiling Multimodal Proficiency of Large Language Models with MultiAPI Benchmark [11.572835837392867]
  この研究は、包括的な大規模APIベンチマークデータセットのパイオニアであるMultiAPIを紹介した。 235の多様なAPIコールと2,038のコンテキストプロンプトで構成されており、マルチモーダルタスクを扱うツール拡張LDMのユニークなプラットフォーム評価を提供する。 LLMはAPIコール決定の熟練度を示すが,ドメイン識別や関数選択,引数生成といった課題に直面している。
  論文  参考訳（メタデータ） (2023-11-21T23:26:05Z)
• SEMQA: Semi-Extractive Multi-Source Question Answering [94.04430035121136]
  本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。 この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
  論文  参考訳（メタデータ） (2023-11-08T18:46:32Z)
• Frugal Prompting for Dialog Models [17.048111072193933]
  本研究では,大規模言語モデル(LLM)を用いた対話システム構築のための異なるアプローチについて検討する。 即時チューニングの一環として、インストラクション、例題、現在のクエリ、追加のコンテキストを提供する様々な方法を試行する。 この研究は、最適な使用情報密度を持つダイアログ履歴の表現も分析する。
  論文  参考訳（メタデータ） (2023-05-24T09:06:49Z)
• Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A Preliminary Study on Writing Assistance [60.40541387785977]
  小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。 本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。 実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-05-22T16:56:44Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。