論文の概要: The Tyranny of Possibilities in the Design of Task-Oriented LLM Systems:
A Scoping Survey
- arxiv url: http://arxiv.org/abs/2312.17601v1
- Date: Fri, 29 Dec 2023 13:35:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-02 09:49:35.494960
- Title: The Tyranny of Possibilities in the Design of Task-Oriented LLM Systems:
A Scoping Survey
- Title(参考訳): タスク指向llmシステムの設計における可能性の専制性:スコーピング調査
- Authors: Dhruv Dhamani and Mary Lou Maher
- Abstract要約: この論文は、最小限のタスク指向LLMシステムを定義し、そのようなシステムの設計空間を探求することから始まる。
結果のパターンを議論し、3つの予想に定式化する。
いずれにせよ、スコーピング調査は将来の研究の指針となる7つの予想を提示している。
- 参考スコア(独自算出の注目度): 1.0489539392650928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This scoping survey focuses on our current understanding of the design space
for task-oriented LLM systems and elaborates on definitions and relationships
among the available design parameters. The paper begins by defining a minimal
task-oriented LLM system and exploring the design space of such systems through
a thought experiment contemplating the performance of diverse LLM system
configurations (involving single LLMs, single LLM-based agents, and multiple
LLM-based agent systems) on a complex software development task and
hypothesizes the results. We discuss a pattern in our results and formulate
them into three conjectures. While these conjectures may be partly based on
faulty assumptions, they provide a starting point for future research. The
paper then surveys a select few design parameters: covering and organizing
research in LLM augmentation, prompting techniques, and uncertainty estimation,
and discussing their significance. The paper notes the lack of focus on
computational and energy efficiency in evaluating research in these areas. Our
survey findings provide a basis for developing the concept of linear and
non-linear contexts, which we define and use to enable an agent-centric
projection of prompting techniques providing a lens through which prompting
techniques can be viewed as multi-agent systems. The paper discusses the
implications of this lens, for the cross-pollination of research between LLM
prompting and LLM-based multi-agent systems; and also, for the generation of
synthetic training data based on existing prompting techniques in research. In
all, the scoping survey presents seven conjectures that can help guide future
research efforts.
- Abstract(参考訳): 本調査は,タスク指向LLMシステムの設計空間の現在の理解に焦点を当て,利用可能な設計パラメータの定義と関係について詳述する。
本論文は、タスク指向のLLMシステムを定義し、複雑なソフトウェア開発タスクにおける多様なLLMシステム構成(単一LLM、単一LLMエージェント、複数のLLMエージェントシステムを含む)の性能を考察し、その結果を仮説化する思考実験を通して、そのようなシステムの設計空間を探求することから始まる。
結果のパターンを議論し,それを3つの予想に定式化する。
これらの予想は一部は誤った仮定に基づいているかもしれないが、将来の研究の出発点となる。
次に,LLM増補研究の包括・組織化,技術推進,不確実性評価など,いくつかの設計パラメータについて検討した。
本稿は,これらの分野の研究評価において,計算とエネルギー効率に重点が置かれていないことを指摘する。
本研究は,プロンプト手法をマルチエージェントシステムと見なすことのできるレンズを提供するプロンプト手法のエージェント中心の投影を可能にするために,リニアおよび非線形コンテキストの概念を開発するための基礎を提供する。
本稿では、llmプロンシングとllmベースのマルチエージェントシステム間の研究のクロスポーリン化、および既存のプロンシング技術に基づく合成トレーニングデータの生成における、このレンズの意義について述べる。
いずれにせよ、スコーピング調査は将来の研究の指針となる7つの予想を提示している。
関連論文リスト
- Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。
本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
論文 参考訳(メタデータ) (2024-02-26T20:33:50Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [64.33702161898469]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Understanding the planning of LLM agents: A survey [98.82513390811148]
本調査では, LLMをベースとしたエージェント計画の体系的考察を行い, 計画能力の向上を目的とした最近の成果について報告する。
各方向について総合的な分析を行い、研究分野におけるさらなる課題について論じる。
論文 参考訳(メタデータ) (2024-02-05T04:25:24Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - Breaking the Silence: the Threats of Using LLMs in Software Engineering [12.368546216271382]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)コミュニティ内で大きな注目を集めています。
本稿では,LSMに基づく研究の有効性に対する潜在的な脅威について,オープンな議論を開始する。
論文 参考訳(メタデータ) (2023-12-13T11:02:19Z) - Assessing Logical Puzzle Solving in Large Language Models: Insights from
a Minesweeper Case Study [12.31609407864022]
我々は、Large Language Models (LLM) になじみのないフォーマットで設計された新しいタスク、Minesweeperを導入する。
このタスクは、隣接するオープンセルが提供する数値的な手がかりに基づいて、LLMが鉱山の位置を特定することを課題とする。
我々の実験は、先進的な GPT-4 モデルによる試行を含むもので、LLM は、この課題に必要な基礎的能力を持っているが、Minesweeper を解くために必要な一貫性のある多段階論理的推論プロセスにこれらを統合するのに苦労していることを示している。
論文 参考訳(メタデータ) (2023-11-13T15:11:26Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - A Comprehensive Overview of Large Language Models [70.78732351626734]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳(メタデータ) (2023-07-12T20:01:52Z) - PRISMA-DFLLM: An Extension of PRISMA for Systematic Literature Reviews
using Domain-specific Finetuned Large Language Models [0.0]
本稿では,Large Language Models(LLMs)のパワーと,PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)の厳密な報告ガイドラインを組み合わせたAI対応方法論フレームワークを提案する。
厳密なSLRプロセスの結果として選択されたドメイン固有の学術論文にLCMを微調整することにより、提案するPRISMA-DFLLMレポートガイドラインは、より効率、再利用性、拡張性を達成する可能性を秘めている。
論文 参考訳(メタデータ) (2023-06-15T02:52:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。