Fugu-MT 論文翻訳(概要): SpreadsheetLLM: Encoding Spreadsheets for Large Language Models

論文の概要: SpreadsheetLLM: Encoding Spreadsheets for Large Language Models

arxiv url: http://arxiv.org/abs/2407.09025v1
Date: Fri, 12 Jul 2024 06:34:21 GMT
ステータス: 処理完了
システム内更新日: 2024-07-16 00:26:50.042750
Title: SpreadsheetLLM: Encoding Spreadsheets for Large Language Models
Title（参考訳）: SpreadsheetLLM: 大規模言語モデルのためのスプレッドシートのエンコード
Authors: Yuzhang Tian, Jianbo Zhao, Haoyu Dong, Junyu Xiong, Shiyu Xia, Mengyu Zhou, Yun Lin, José Cambronero, Yeye He, Shi Han, Dongmei Zhang,
Abstract要約: SpreadsheetLLMは、スプレッドシート上の大きな言語モデル(LLM)を解き放つために設計された効率的な符号化手法である。 LLMのスプレッドシートを効果的に圧縮する革新的な符号化フレームワークである SheetCompressor を開発した。 SheetCompressor による微調整 LLM の圧縮率は平均 25 倍であるが、最先端の 78.9% の F1 スコアを達成し、既存のモデルでは 12.3% を上回っている。
参考スコア（独自算出の注目度）: 44.08092362611575
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Spreadsheets, with their extensive two-dimensional grids, various layouts, and diverse formatting options, present notable challenges for large language models (LLMs). In response, we introduce SpreadsheetLLM, pioneering an efficient encoding method designed to unleash and optimize LLMs' powerful understanding and reasoning capability on spreadsheets. Initially, we propose a vanilla serialization approach that incorporates cell addresses, values, and formats. However, this approach was limited by LLMs' token constraints, making it impractical for most applications. To tackle this challenge, we develop SheetCompressor, an innovative encoding framework that compresses spreadsheets effectively for LLMs. It comprises three modules: structural-anchor-based compression, inverse index translation, and data-format-aware aggregation. It significantly improves performance in spreadsheet table detection task, outperforming the vanilla approach by 25.6% in GPT4's in-context learning setting. Moreover, fine-tuned LLM with SheetCompressor has an average compression ratio of 25 times, but achieves a state-of-the-art 78.9% F1 score, surpassing the best existing models by 12.3%. Finally, we propose Chain of Spreadsheet for downstream tasks of spreadsheet understanding and validate in a new and demanding spreadsheet QA task. We methodically leverage the inherent layout and structure of spreadsheets, demonstrating that SpreadsheetLLM is highly effective across a variety of spreadsheet tasks.
Abstract（参考訳）: 広範な2次元グリッド、様々なレイアウト、多様なフォーマットオプションを備えたスプレッドシートは、大きな言語モデル(LLM)において顕著な課題を提示する。そこで我々は,スプレッドシート上でのLLMの強力な理解と推論能力の解放と最適化を目的とした,効率的な符号化手法であるSpreadsheetLLMを紹介した。まず、セルアドレス、値、フォーマットを組み込んだバニラシリアライズ手法を提案する。しかし、このアプローチはLLMのトークン制約によって制限され、ほとんどのアプリケーションでは実用的ではない。この課題に対処するために,LLMのスプレッドシートを効果的に圧縮する革新的な符号化フレームワークである SheetCompressor を開発した。構造アンカーベースの圧縮、逆インデックス変換、データフォーマット対応アグリゲーションの3つのモジュールで構成されている。これはスプレッドシートテーブル検出タスクのパフォーマンスを大幅に改善し、GPT4のコンテキスト内学習環境ではバニラアプローチを25.6%上回った。さらに、シート圧縮機を用いた微調整LDMの圧縮率は平均25倍であるが、最先端の78.9%のF1スコアを達成し、既存のモデルでは12.3%を上回っている。最後に、スプレッドシート理解の下流タスクのためのスプレッドシートのチェーンを提案し、新しい要求のスプレッドシートQAタスクで検証する。我々はスプレッドシートのレイアウトと構造を手法的に利用し、スプレッドシートLLMが様々なスプレッドシートタスクにおいて極めて有効であることを示す。

関連論文リスト

TableTime: Reformulating Time Series Classification as Zero-Shot Table Understanding via Large Language Models [54.44272772296578]
大規模言語モデル (LLM) は多変量時系列分類において有効であることを示した。 LLM は LLM の潜在空間内の時系列の埋め込みを直接コードし、LLM の意味空間と一致させる。 MTSCを表理解タスクとして再編成するテーブルタイムを提案する。
論文参考訳（メタデータ） (2024-11-24T07:02:32Z)
SpreadsheetBench: Towards Challenging Real World Spreadsheet Manipulation [34.8332394229927]
SpreadsheetBenchは,現在の大規模言語モデル(LLM)を,スプレッドシートユーザのワークフローにマージするように設計されている。合成クエリと単純化されたスプレッドシートファイルに依存する既存のベンチマークとは異なり、SpreadsheetBenchはオンラインExcelフォーラムから収集された912の質問から作られている。単一ラウンドおよび複数ラウンドの推論条件下での各種LLMの総合評価は,最先端モデル(SOTA)と人為的性能との間に大きなギャップがあることを示唆している。
論文参考訳（メタデータ） (2024-06-21T09:06:45Z)
An Automatic Prompt Generation System for Tabular Data Tasks [3.117741687220381]
大規模言語モデル(LLM)は、慎重に構築されたプロンプトを通じて、いくつかのタスクでその能力を実証している。本稿では,複数のLDMに適した革新的オートプロンプト生成システムを提案する。
論文参考訳（メタデータ） (2024-05-09T08:32:55Z)
TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [52.73289223176475]
TableLLMは、13億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
論文参考訳（メタデータ） (2024-03-28T11:21:12Z)
TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
論文参考訳（メタデータ） (2023-12-14T15:37:04Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)
Spreadsheet computing with Finite Domain Constraint Enhancements [0.0]
本稿では,有限制約解法をスプレッドシート計算パラダイムにシームレスに組み込んだフレームワークを提案する。このフレームワークは制約解決のためのインターフェースを提供し、スプレッドシートコンピューティングパラダイムをさらに強化する。
論文参考訳（メタデータ） (2022-02-22T17:50:48Z)
SpreadsheetCoder: Formula Prediction from Semi-structured Context [70.41579328458116]
行ベースと列ベースの両方のフォーマットで表されるコンテキストを表現するために,BERTベースのモデルアーキテクチャを提案する。我々はスプレッドシートの大きなデータセットでモデルをトレーニングし、SpreadsheetCoderが42.51%の予測精度でトップ1の予測を達成できることを実証した。ルールベースのシステムと比較すると、SpreadsheetCoder 82%は、Google Sheetsで公式を作成する上で、より多くのユーザを支援する。
論文参考訳（メタデータ） (2021-06-26T11:26:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。