論文の概要: QMOS: Enhancing LLMs for Telecommunication with Question Masked loss and Option Shuffling

• arxiv url: http://arxiv.org/abs/2409.14175v2
• Date: Tue, 04 Feb 2025 07:46:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:56:03.118907
• Title: QMOS: Enhancing LLMs for Telecommunication with Question Masked loss and Option Shuffling
• Title（参考訳）: QMOS: 質問応答損失とオプションシャッフルによる遠隔コミュニケーションのためのLCMの強化
• Authors: Blessed Guda, Gabrial Zencha Ashungafac, Lawrence Francis, Carlee Joe-Wong,
• Abstract要約: GPT-3.5は、最近の研究で、Retrieval Augmented Generationフレームワークにおいて、通信関連質問に対する注目すべき精度を得るために使われている。 本稿では、QMOSについて述べる。QMOSは、電信分野における複数の質問に答える際のLLMの性能を高めるために、Q-Masked LosとOption Shufflingのトリックを利用する革新的な手法である。
• 参考スコア（独自算出の注目度）: 10.42541749928513
• License:
• Abstract: Large Language models (LLMs) have brought about substantial advancements in the field of Question Answering (QA) systems. These models do remarkably well in addressing intricate inquiries in a variety of disciplines. However, because of domain-specific vocabulary, complex technological concepts, and the requirement for exact responses applying LLMs to specialized sectors like telecommunications presents additional obstacles. GPT-3.5 has been used in recent work, to obtain noteworthy accuracy for telecom-related questions in a Retrieval Augmented Generation (RAG) framework. Notwithstanding these developments, the practical use of models such as GPT-3.5 is restricted by their proprietary nature and high computing demands. This paper introduces QMOS, an innovative approach which uses a Question-Masked loss and Option Shuffling trick to enhance the performance of LLMs in answering Multiple-Choice Questions in the telecommunications domain. Our focus was on using opensource, smaller language models (Phi-2 and Falcon-7B) within an enhanced RAG framework. Our multi-faceted approach involves several enhancements to the whole LLM-RAG pipeline of finetuning, retrieval, prompt engineering and inference. Our approaches significantly outperform existing results, achieving accuracy improvements from baselines of 24.70% to 49.30% with Falcon-7B and from 42.07% to 84.65% with Phi-2.
• Abstract（参考訳）: 大規模言語モデル (LLM) は質問回答システム (QA) の分野で大きな進歩をもたらした。 これらのモデルは、様々な分野の複雑な問い合わせに驚くほどうまく対処する。 しかし、ドメイン固有の語彙、複雑な技術概念、およびLLMを電気通信などの専門分野に適用する正確な応答の要求により、さらなる障害が生じる。 GPT-3.5は、最近の研究で、レトリーバル拡張生成(RAG)フレームワークにおいて、通信関連質問に対して注目すべき精度を得るために使われている。 これらの発展にもかかわらず、GPT-3.5のようなモデルの使用は、プロプライエタリな性質と高いコンピューティング要求によって制限されている。 本稿では、QMOSについて述べる。QMOSは、電信分野における複数の質問に答える際のLLMの性能を高めるために、Q-Masked LosとOption Shufflingのトリックを利用する革新的な手法である。 我々の焦点は、拡張RAGフレームワーク内で、オープンソースのより小さな言語モデル(Phi-2とFalcon-7B)を使用することでした。 我々の多面的アプローチは、微調整、検索、迅速なエンジニアリング、推論のLLM-RAGパイプライン全体に対するいくつかの拡張を含む。 我々のアプローチは既存の結果よりも優れており、ファルコン7Bで24.70%から49.30%、Phi-2で42.07%から84.65%の精度向上を実現している。

関連論文リスト

• mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA [78.45521005703958]
  マルチモーダル検索拡張生成(mRAG)はMLLMに包括的で最新の知識を提供するために自然に導入されている。 我々は、適応的検索と有用な情報ローカライゼーションを実現する textbfRetrieval-textbfReftextbfAugmented textbfGeneration (mR$2$AG) という新しいフレームワークを提案する。 mR$2$AG は INFOSEEK と Encyclopedic-VQA の最先端MLLM を著しく上回る
  論文  参考訳（メタデータ） (2024-11-22T16:15:50Z)
• TeleOracle: Fine-Tuned Retrieval-Augmented Generation with Long-Context Support for Network [4.551436852242372]
  我々はPhi-2小言語モデル(SLM)上に構築された通信通信特化検索拡張生成(RAG)システムであるTeleOracleを紹介する。 コンテキスト検索を改善するために、TeleOracleはセマンティックチャンキングとハイブリッドキーワードとセマンティック検索を組み合わせた2段階のレトリバーを使用している。 モデルの性能を徹底的に分析した結果,我々のRAGフレームワークは,Phi-2モデルよりも30%精度が向上し,ダウンストリーム質問応答(QnA)タスクにおいてPhi-2を通信領域に整列させるのに有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-11-04T21:12:08Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Rephrase and Contrast: Fine-Tuning Language Models for Enhanced Understanding of Communication and Computer Networks [13.829525575305206]
  本稿では,効率的な微調整フレームワークであるRephrase and Contrast(RaC)フレームワークについて紹介する。 RaCは質問の修正と対照的な分析を取り入れることでLLMの理解と批判的思考能力を高める。 本稿では,RaC微調整のためのデータセットを効率的に構築するために,高品質な質問応答対を生成するためのGPT支援データマイニング法を開発した。
  論文  参考訳（メタデータ） (2024-09-21T16:04:43Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• Enhancing Textbook Question Answering Task with Large Language Models and Retrieval Augmented Generation [3.948068081583197]
  本稿では,テキスト質問応答(TQA)における領域外シナリオを扱う手法を提案する。 LLMモデルLlama-2の微調整とRAGの導入により、我々のアーキテクチャはベースラインよりも優れ、検証セットでは4.12%、非ダイアグラム多重選択質問では9.84%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-02-05T11:58:56Z)
• Large Language Model Enhanced Multi-Agent Systems for 6G Communications [94.45712802626794]
  本稿では,自然言語を用いたコミュニケーション関連タスクを解くための,カスタマイズされたコミュニケーション知識とツールを備えたマルチエージェントシステムを提案する。 セマンティック通信システムの設計により,提案方式の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-13T02:35:57Z)
• Self-prompted Chain-of-Thought on Large Language Models for Open-domain Multi-hop Reasoning [70.74928578278957]
  オープンドメイン質問回答(ODQA)では、ほとんどの既存の質問はコモンセンスのシングルホップ推論を必要とする。 大規模言語モデル(LLM)は、外部コーパスなしでODQAを促進するために重要な有用性を見出した。 高品質なCoTを大量生産する自動化フレームワークSP-CoTを提案する。
  論文  参考訳（メタデータ） (2023-10-20T14:51:10Z)
• Analysis of the Reasoning with Redundant Information Provided Ability of Large Language Models [0.0]
  大きな言語モデル(LLM)は、さまざまな自然言語処理タスクにまたがる印象的な機能を示している。 このギャップに対処するため,Reasoning with Redundant Information Provided (RRIP) と呼ばれる新しいQAタスクが導入された。 本研究は,LlaMA2-13B-chatとGPT-3.5 (generative pre-trained transformer 3.5)の2つのLLMを評価し,従来のQAタスクとRRIPタスクとの対比を行った。
  論文  参考訳（メタデータ） (2023-10-06T06:20:06Z)
• Pushing Large Language Models to the 6G Edge: Vision, Challenges, and Opportunities [32.035405009895264]
  大規模言語モデル(LLM)はAI開発に革命をもたらし、私たちの未来を形作る可能性がある。 1) 長時間の応答時間、2) 帯域幅のコスト、3) データプライバシの侵害。 6Gモバイルエッジコンピューティング(MEC)システムは、これらのプレス問題を解決できるかもしれない。 本稿は,6GエッジにおけるLCMのモチベーション,課題,経路を徹底的に特定するためのポジションペーパーとして機能する。
  論文  参考訳（メタデータ） (2023-09-28T06:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。