論文の概要: SheetDesigner: MLLM-Powered Spreadsheet Layout Generation with Rule-Based and Vision-Based Reflection

• arxiv url: http://arxiv.org/abs/2509.07473v1
• Date: Tue, 09 Sep 2025 07:51:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.217463
• Title: SheetDesigner: MLLM-Powered Spreadsheet Layout Generation with Rule-Based and Vision-Based Reflection
• Title（参考訳）: SheetDesigner:ルールベースおよびビジョンベースリフレクションによるMLLMを利用したスプレッドシートレイアウト生成
• Authors: Qin Chen, Yuanyi Ren, Xiaojun Ma, Mugeng Liu, Han Shi, Dongmei Zhang,
• Abstract要約: SheetDesignerは、コンポーネント配置とコンテンツ人口に対するルールとビジョンの反映を組み合わせたゼロショットフレームワークである。 視覚のモダリティによって、MLLMは重なり合いとバランスをうまく扱うが、アライメントに苦しむ。
• 参考スコア（独自算出の注目度）: 26.315814679351988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spreadsheets are critical to data-centric tasks, with rich, structured layouts that enable efficient information transmission. Given the time and expertise required for manual spreadsheet layout design, there is an urgent need for automated solutions. However, existing automated layout models are ill-suited to spreadsheets, as they often (1) treat components as axis-aligned rectangles with continuous coordinates, overlooking the inherently discrete, grid-based structure of spreadsheets; and (2) neglect interrelated semantics, such as data dependencies and contextual links, unique to spreadsheets. In this paper, we first formalize the spreadsheet layout generation task, supported by a seven-criterion evaluation protocol and a dataset of 3,326 spreadsheets. We then introduce SheetDesigner, a zero-shot and training-free framework using Multimodal Large Language Models (MLLMs) that combines rule and vision reflection for component placement and content population. SheetDesigner outperforms five baselines by at least 22.6\%. We further find that through vision modality, MLLMs handle overlap and balance well but struggle with alignment, necessitates hybrid rule and visual reflection strategies. Our codes and data is available at Github.
• Abstract（参考訳）: スプレッドシートは、効率的な情報伝達を可能にするリッチで構造化されたレイアウトを持つ、データ中心のタスクに不可欠である。 手動のスプレッドシートレイアウト設計に必要な時間と専門知識を考えると、自動化されたソリューションが緊急に必要である。 しかし、既存の自動レイアウトモデルはスプレッドシートに不適であり、(1) コンポーネントを連続座標で軸整列長方形として扱い、(2) スプレッドシートの本質的に離散的なグリッドベースの構造を見渡し、(2) スプレッドシート特有のデータ依存やコンテキストリンクといった相互関係のセマンティクスを無視している。 本稿では,まず,7つの基準評価プロトコルと3,326のスプレッドシートのデータセットがサポートするスプレッドシートレイアウト生成タスクを形式化する。 次に,Multimodal Large Language Models (MLLM) を用いたゼロショットおよびトレーニングフリーのフレームワークである SheetDesignerを紹介した。 SheetDesignerは5つのベースラインを少なくとも22.6\%上回る。 さらに、視覚のモダリティにより、MLLMは重なり合いとバランスをうまく扱うが、アライメントに苦慮し、ハイブリッドルールとビジュアルリフレクション戦略を必要とする。 私たちのコードとデータはGithubで公開されています。

関連論文リスト

• SpreadsheetLLM: Encoding Spreadsheets for Large Language Models [44.08092362611575]
  本研究では,スプレッドシート上での大規模言語モデル(LLM)の効率的な符号化手法であるSpreadsheetLLMを紹介する。 LLMのスプレッドシートを効果的に圧縮する革新的な符号化フレームワークである SheetCompressor を開発した。 シート圧縮機を用いた微調整LDMは平均圧縮比25倍であり、最先端の78.9%のF1スコアを達成し、既存の最高のモデルよりも12.3%上回っている。
  論文  参考訳（メタデータ） (2024-07-12T06:34:21Z)
• SpreadsheetBench: Towards Challenging Real World Spreadsheet Manipulation [34.8332394229927]
  SpreadsheetBenchは,現在の大規模言語モデル(LLM)を,スプレッドシートユーザのワークフローにマージするように設計されている。 合成クエリと単純化されたスプレッドシートファイルに依存する既存のベンチマークとは異なり、SpreadsheetBenchはオンラインExcelフォーラムから収集された912の質問から作られている。 単一ラウンドおよび複数ラウンドの推論条件下での各種LLMの総合評価は,最先端モデル(SOTA)と人為的性能との間に大きなギャップがあることを示唆している。
  論文  参考訳（メタデータ） (2024-06-21T09:06:45Z)
• TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [51.66718740300016]
  TableLLMは80億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。 我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
  論文  参考訳（メタデータ） (2024-03-28T11:21:12Z)
• SpreadsheetCoder: Formula Prediction from Semi-structured Context [70.41579328458116]
  行ベースと列ベースの両方のフォーマットで表されるコンテキストを表現するために,BERTベースのモデルアーキテクチャを提案する。 我々はスプレッドシートの大きなデータセットでモデルをトレーニングし、SpreadsheetCoderが42.51%の予測精度でトップ1の予測を達成できることを実証した。 ルールベースのシステムと比較すると、SpreadsheetCoder 82%は、Google Sheetsで公式を作成する上で、より多くのユーザを支援する。
  論文  参考訳（メタデータ） (2021-06-26T11:26:27Z)
• A Graph Representation of Semi-structured Data for Web Question Answering [96.46484690047491]
  本稿では、半構造化データとそれらの関係の構成要素の体系的分類に基づいて、Webテーブルとリストのグラフ表現を提案する。 本手法は,最先端のベースラインに対してF1スコアを3.90ポイント向上させる。
  論文  参考訳（メタデータ） (2020-10-14T04:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。