論文の概要: StringLLM: Understanding the String Processing Capability of Large Language Models

• arxiv url: http://arxiv.org/abs/2410.01208v2
• Date: Thu, 3 Oct 2024 00:29:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 22:40:58.335603
• Title: StringLLM: Understanding the String Processing Capability of Large Language Models
• Title（参考訳）: StringLLM: 大きな言語モデルの文字列処理能力を理解する
• Authors: Xilong Wang, Hao Fu, Jindong Wang, Neil Zhenqiang Gong,
• Abstract要約: 文字列処理におけるLarge Language Model' (LLMs) の能力は未熟であり、未熟である。 LLMの文字列処理能力をベンチマークするために、StringLLMを使ってデータセットを構築します。 評価の結果,LLMは人に比べて正確に文字列を処理するのに苦労していることが明らかとなった。 細調整によるLLMの文字列処理能力を大幅に向上する効果的な手法を提案する。
• 参考スコア（独自算出の注目度）: 45.992805072409595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: String processing, which mainly involves the analysis and manipulation of strings, is a fundamental component of modern computing. Despite the significant advancements of large language models (LLMs) in various natural language processing (NLP) tasks, their capability in string processing remains underexplored and underdeveloped. To bridge this gap, we present a comprehensive study of LLMs' string processing capability. In particular, we first propose StringLLM, a method to construct datasets for benchmarking string processing capability of LLMs. We use StringLLM to build a series of datasets, referred to as StringBench. It encompasses a wide range of string processing tasks, allowing us to systematically evaluate LLMs' performance in this area. Our evaluations indicate that LLMs struggle with accurately processing strings compared to humans. To uncover the underlying reasons for this limitation, we conduct an in-depth analysis and subsequently propose an effective approach that significantly enhances LLMs' string processing capability via fine-tuning. This work provides a foundation for future research to understand LLMs' string processing capability. Our code and data are available at https://github.com/wxl-lxw/StringLLM.
• Abstract（参考訳）: 文字列処理は、主に文字列の分析と操作を含むが、現代のコンピューティングの基本的な構成要素である。 様々な自然言語処理(NLP)タスクにおける大規模言語モデル(LLM)の大幅な進歩にもかかわらず、文字列処理におけるそれらの能力は未熟であり、未熟である。 このギャップを埋めるために、LLMの文字列処理能力について包括的な研究を行う。 特に,LLMの文字列処理能力をベンチマークするためのデータセット構築手法であるStringLLMを提案する。 StringLLMを使用して、StringBenchと呼ばれる一連のデータセットを構築します。 幅広い文字列処理タスクを含み、この分野におけるLLMの性能を体系的に評価することができる。 評価の結果,LLMは人に比べて正確に文字列を処理するのに苦労していることが明らかとなった。 この制限の根底にある理由を明らかにするため、我々は深部分析を行い、その後、微調整によりLLMの文字列処理能力を著しく向上する効果的なアプローチを提案する。 この研究は、LLMの文字列処理能力を理解するための将来の研究の基礎を提供する。 私たちのコードとデータはhttps://github.com/wxl-lxw/StringLLM.orgで公開されています。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
  デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。 意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。 本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:10:35Z)
• Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
  LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。 大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。 英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
  論文  参考訳（メタデータ） (2023-12-21T05:32:49Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• Pre-training LLMs using human-like development data corpus [3.5757761767474876]
  我々は,子どもが見るのとほぼ同じ数のトークンを用いて,文脈的単語表現を学習する能力について,LLM(Large Language Models)を事前訓練し評価する。 異なるアーキテクチャで、エポック間のパフォーマンスの変化を評価し、タスクの厳密で厳密なトラックに対する事前トレーニングメトリクスを報告します。
  論文  参考訳（メタデータ） (2023-11-08T13:13:23Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline [22.08897444328099]
  大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。 本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:36:06Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。