論文の概要: StructuredRAG: JSON Response Formatting with Large Language Models

• arxiv url: http://arxiv.org/abs/2408.11061v1
• Date: Wed, 7 Aug 2024 19:32:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-25 14:11:11.635949
• Title: StructuredRAG: JSON Response Formatting with Large Language Models
• Title（参考訳）: StructuredRAG: 大規模言語モデルによるJSON応答予測
• Authors: Connor Shorten, Charles Pierse, Thomas Benjamin Smith, Erika Cardenas, Akanksha Sharma, John Trengrove, Bob van Luijt,
• Abstract要約: 本研究では,大規模言語モデルの応答形式指示に従う際の習熟度を評価するための6つのタスクのベンチマークであるStructuredRAGを紹介する。 我々は4ビット量子化による2つの最先端LCM, Gemini 1.5 Pro と Llama 3 8B のインストラクトを評価した。 Llama 3 8B命令は、しばしばGemini 1.5 Proと競合する。
• 参考スコア（独自算出の注目度）: 0.3141085922386211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability of Large Language Models (LLMs) to generate structured outputs, such as JSON, is crucial for their use in Compound AI Systems. However, evaluating and improving this capability remains challenging. In this work, we introduce StructuredRAG, a benchmark of six tasks designed to assess LLMs' proficiency in following response format instructions. We evaluate two state-of-the-art LLMs, Gemini 1.5 Pro and Llama 3 8B-instruct with 4-bit quantization using two distinct prompting strategies. We introduce these prompting strategies as f-String and Follow the Format (FF) prompting. Across 24 experiments, we find an average success rate of 82.55%. We further find a high variance in performance across tasks, models, and prompting strategies with success rates ranging from 0 to 100%. We find that Llama 3 8B-instruct often performs competitively with Gemini 1.5 Pro. We observe that task complexity significantly influences performance, with tasks involving lists or composite object outputs proving more challenging. Our findings highlight the need for further research into improving the reliability and consistency of structured output generation in LLMs. We have open-sourced our experimental code and results at github.com/weaviate/structured-rag.
• Abstract（参考訳）: JSONのような構造化された出力を生成するためのLLM(Large Language Models)の能力は、複合AIシステムでの使用に不可欠である。 しかし、この能力の評価と改善は依然として難しい。 本研究では,LLMの応答形式指示に従う際の習熟度を評価するための6つのタスクのベンチマークであるStructuredRAGを紹介する。 我々は、2つの異なるプロンプト戦略を用いて、4ビット量子化を施した2つの最先端LLMであるGemini 1.5 ProとLlama 3 8Bの評価を行った。 本稿では、これらのプロンプト戦略をf-StringとFollow the Format(FF)プロンプトとして紹介する。 24実験中、平均成功率は82.55%である。 さらに、タスクやモデル、成功率0から100%の戦略の推進など、パフォーマンスのばらつきも高くなっています。 Llama 3 8B命令は、しばしばGemini 1.5 Proと競合する。 タスクの複雑さは、リストや複合オブジェクトのアウトプットを含むタスクにより、パフォーマンスに大きく影響します。 本研究は,LLMにおける構造的出力生成の信頼性と整合性の向上に向けたさらなる研究の必要性を浮き彫りにするものである。 実験コードと結果をgithub.com/weaviate/structured-ragでオープンソース化しました。

関連論文リスト

• StrucText-Eval: Evaluating Large Language Model's Reasoning Ability in Structure-Rich Text [29.03935605732864]
  我々はStrucText-Evalという,構造化テキストによる大規模言語モデルの理解と推論の精度を評価するベンチマークを紹介した。 オープンソース LLM が標準データセットで74.9% の最大精度を達成する一方で、そのパフォーマンスはより難しいデータセットで45.8% に大幅に低下していることを示す。 対照的に、人間の参加者はStrucText-Eval-Hardで92.6%の精度に達し、複雑な構造情報を扱うLLMの現在の限界を強調している。
  論文  参考訳（メタデータ） (2024-06-15T12:48:00Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• From Tarzan to Tolkien: Controlling the Language Proficiency Level of LLMs for Content Generation [10.009516150364371]
  本稿では,この課題に対するいくつかの重要なアプローチの有効性を評価する。 この結果から,プロンプトベース戦略を用いた場合,GPT-4とオープンソースモデルの間に大きな性能差があることが判明した。 我々の最良のモデルであるCALM (CEFR-Aligned Language Model) は、GPT-4やその他の戦略の性能をほんの少しのコストで上回ります。
  論文  参考訳（メタデータ） (2024-06-05T07:57:17Z)
• Self-Discover: Large Language Models Self-Compose Reasoning Structures [136.48389510481758]
  タスク固有の推論構造を自己発見するフレームワークであるSELF-DISCOVERを紹介する。 SELF-DISCOVERは、挑戦的推論ベンチマークにおいて、GPT-4とPaLM 2の性能を大幅に改善する。 自己発見推論構造は、モデルファミリー全体にわたって普遍的に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-06T01:13:53Z)
• Genixer: Empowering Multimodal Large Language Models as a Powerful Data Generator [63.762209407570715]
  Genixerは4つの重要なステップからなる包括的なデータ生成パイプラインである。 LLaVA1.5でトレーニングされた合成VQAライクなデータセットは、12のマルチモーダルベンチマークのうち10のパフォーマンスを向上させる。 タスク固有のデータセットで訓練されたMLLMは、複雑な命令チューニングデータを生成する際に、GPT-4Vを超えることができる。
  論文  参考訳（メタデータ） (2023-12-11T09:44:41Z)
• What Makes for Good Visual Instructions? Synthesizing Complex Visual Reasoning Instructions for Visual Instruction Tuning [115.19451843294154]
  マルチモーダル大言語モデル(MLLM)のゼロショット一般化能力向上のためのビジュアルインストラクションチューニング 本稿では,高品質な視覚的推論命令を自動生成するための体系的アプローチを提案する。 我々のデータセットは、MME-CognitionにおけるMiniGPT-4とBLIP-2の性能をそれぞれ32.6%、28.8%向上させるなど、比較したMLLMの性能を一貫して向上させる。
  論文  参考訳（メタデータ） (2023-11-02T15:36:12Z)
• Compresso: Structured Pruning with Collaborative Prompting Learns Compact Large Language Models [15.471290825100075]
  我々はCompressoと呼ばれる大規模言語モデルを構築するための新しいパラダイムを導入する。 提案手法は,資源効率の高いプルーニングアルゴリズムとLLM自体の協調により,学習過程における最適プルーニング決定を学習する。 実験では、Compressoは様々な空間比でワンショットプルーニングベースラインを著しく上回り、それぞれ2.21%、11.43%、7.04%、および4.81%のスコアをコモンセンス推論、読解理解、MMLU、BBHベンチマークで達成している。
  論文  参考訳（メタデータ） (2023-10-08T05:16:28Z)
• Benchmarking the Abilities of Large Language Models for RDF Knowledge Graph Creation and Comprehension: How Well Do LLMs Speak Turtle? [0.0]
  大きな言語モデル(LLM)は、自然言語処理とコーディングタスクにおいて大幅に改善され、急速に進歩している。 様々なLSMの習熟度を評価するために,Turtle構文でシリアライズされた知識グラフを解析,理解,分析,作成する5つのタスクのセットを作成した。 GPT-3.5、GPT-4、Claude 1.3、Claude 2.0の4つの商用LLMと、GPT4All VicunaとGPT4All Falcon 13Bの2つのオフラインモデルが含まれていた。
  論文  参考訳（メタデータ） (2023-09-29T10:36:04Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。