論文の概要: Applications of Large Language Models in Data Processing: Innovative Approaches to Segmenting and Renewing Information

• arxiv url: http://arxiv.org/abs/2311.16267v1
• Date: Mon, 27 Nov 2023 19:17:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 21:17:06.418749
• Title: Applications of Large Language Models in Data Processing: Innovative Approaches to Segmenting and Renewing Information
• Title（参考訳）: 大規模言語モデルのデータ処理への応用:情報分割・更新への革新的アプローチ
• Authors: Yu-Chen Lin, Akhilesh Kumar, Wen-Liang Zhang, Norman Chang, Muhammad Zakir, Rucha Apte, Chao Wang, Jyh-Shing Roger Jang
• Abstract要約: 本稿では,「特定ドメイン」アプリケーションにおけるコード生成の効果的な手法について検討する。 実際のプロダクトを例として、ユーザマニュアルやAPIドキュメント、その他のデータを提供しています。 我々は,様々なプロンプト技術を用いて,単純・中複雑タスクにおいて約70%の精度を達成している。
• 参考スコア（独自算出の注目度）: 8.082023242531347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our paper investigates effective methods for code generation in "specific-domain" applications, including the use of Large Language Models (LLMs) for data segmentation and renewal, as well as stimulating deeper thinking in LLMs through prompt adjustments. Using a real company product as an example, we provide user manuals, API documentation, and other data. The ideas discussed in this paper help segment and then convert this data into semantic vectors to better reflect their true positioning. Subsequently, user requirements are transformed into vectors to retrieve the most relevant content, achieving about 70% accuracy in simple to medium-complexity tasks through various prompt techniques. This paper is the first to enhance specific-domain code generation effectiveness from this perspective. Additionally, we experiment with generating more scripts from a limited number using llama2-based fine-tuning to test its effectiveness in professional domain code generation. This is a challenging and promising field, and once achieved, it will not only lead to breakthroughs in LLM development across multiple industries but also enable LLMs to understand and learn any new knowledge effectively.
• Abstract（参考訳）: 本稿では,データセグメンテーションや更新にLarge Language Models (LLMs) を用いることや,迅速な調整によるLLMにおける深い思考の促進など,特定ドメインアプリケーションにおけるコード生成の効果的な方法を検討する。 実際のプロダクトを例として、ユーザマニュアルやAPIドキュメント、その他のデータを提供しています。 この論文で議論されているアイデアは、それらのデータを意味ベクトルに変換し、真の位置を反映するのに役立つ。 その後、ユーザ要求をベクトルに変換して最も関連性の高いコンテンツを検索し、様々なプロンプト技術を用いて、単純・中複雑タスクで約70%の精度で処理する。 この観点から特定ドメインコード生成の有効性を高めるのは,本論文が初めてである。 さらに、llama2ベースの微調整を用いて限られた数からより多くのスクリプトを生成し、プロのドメインコード生成の有効性をテストする実験を行った。 これは挑戦的で有望な分野であり、一度達成すれば、複数の産業でLLM開発が進展するだけでなく、LLMが新たな知識を効果的に理解し、学べるようになるでしょう。

関連論文リスト

• Training LLMs for Generating IEC 61131-3 Structured Text with Online Feedback [0.0]
  本稿では,学習データの品質向上を重視した大規模言語モデル(LLM)の学習手法を提案する。 このフレームワークは、産業自動化アプリケーションに非常に適しており、最先端のモデルを上回っている。
  論文  参考訳（メタデータ） (2024-10-29T15:54:09Z)
• On The Role of Prompt Construction In Enhancing Efficacy and Efficiency of LLM-Based Tabular Data Generation [16.79923685316516]
  本稿では, エキスパート誘導, LLM誘導, ノベル・マッピングの3つのプロプライエタリ・コンストラクションプロトコルについて検討する。 文脈に富んだプロンプトは、データ生成の品質とトレーニング効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-09-06T00:02:09Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Code Less, Align More: Efficient LLM Fine-tuning for Code Generation with Data Pruning [4.975728472540823]
  各種クラスタリングとプルーニングのメトリクスを統合して、生成されたコードの正確性や機能を損なうことなく、トレーニングデータを選択的に削減する手法を提案する。 実験により,これらのプルーニング戦略は,必要な計算資源を削減するだけでなく,全体的な品質コード生成を向上することが示された。
  論文  参考訳（メタデータ） (2024-07-06T10:30:43Z)
• Improving Retrieval for RAG based Question Answering Models on Financial Documents [0.046603287532620746]
  本稿では,RAGパイプラインの既存の制約について検討し,テキスト検索の方法を紹介する。 高度なチャンキングテクニック、クエリ拡張、メタデータアノテーションの組み込み、再ランク付けアルゴリズムの適用、埋め込みアルゴリズムの微調整などの戦略を練っている。
  論文  参考訳（メタデータ） (2024-03-23T00:49:40Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
  本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。 従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T12:34:46Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。