論文の概要: OmniStruct: Universal Text-to-Structure Generation across Diverse Schemas

• arxiv url: http://arxiv.org/abs/2511.18335v1
• Date: Sun, 23 Nov 2025 08:18:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.785258
• Title: OmniStruct: Universal Text-to-Structure Generation across Diverse Schemas
• Title（参考訳）: OmniStruct: 多様なスキーマをまたいだユニバーサルテキスト・ストラクチャ生成
• Authors: James Y. Huang, Wenxuan Zhou, Nan Xu, Fei Wang, Qin Liu, Sheng Zhang, Hoifung Poon, Muhao Chen,
• Abstract要約: OmniStructは、テキストから構造までのタスクにおいて、大規模言語モデルの能力を評価するためのベンチマークである。 我々は,効率的なテキスト・ツー・ストラクチャ・モデルの開発を容易にするために,合成タスク生成による高品質なトレーニングデータを収集する。 本実験は, 合成データのより小さなモデルから, 普遍構造生成モデルへの微調整の可能性を示すものである。
• 参考スコア（独自算出の注目度）: 57.49565459553627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability of Large Language Models (LLMs) to generate structured outputs that follow arbitrary schemas is crucial to a wide range of downstream tasks that require diverse structured representations of results such as information extraction, table generation, and function calling. While modern LLMs excel in generating unstructured responses in natural language, whether this advancement translates to a strong performance on text-to-structure tasks remains unclear. To bridge this gap, we first introduce OmniStruct, a comprehensive benchmark for assessing LLMs' capabilities on diverse text-to-structure tasks such as information extraction, table generation, and function calling. We build OmniStruct by identifying existing datasets across a wide range of tasks that are suitable for a structured answer format, and adapting them under a unified text-to-structure problem setting. To facilitate the development of efficient text-to-structure models, we collect high-quality training data via synthetic task generation. Without using any supervised data for OmniStruct tasks, our experiments demonstrate the possibility of fine-tuning much smaller models on synthetic data into universal structured generation models that can rival the performance of GPT-4o.
• Abstract（参考訳）: 任意のスキーマに従う構造化出力を生成する大規模言語モデル(LLM)の能力は、情報抽出、テーブル生成、関数呼び出しといった結果の多様な構造化表現を必要とする幅広い下流タスクに不可欠である。 現代のLLMは、自然言語で非構造的応答を生成するのに優れていますが、この進歩がテキストから構造的タスクの強いパフォーマンスに繋がるかどうかは不明です。 このギャップを埋めるために,私たちはまず,情報抽出やテーブル生成,関数呼び出しといった多種多様なテキスト・構造タスクにおいて,LLMの能力を評価するための包括的なベンチマークであるOmniStructを紹介した。 我々はOmniStructを構築し、構造化された回答形式に適した幅広いタスクにまたがる既存のデータセットを特定し、それらを統一されたテキストから構造への問題設定の下で適用する。 効率的なテキスト・ツー・ストラクチャ・モデルの開発を容易にするため,我々は合成タスク生成による高品質なトレーニングデータを収集する。 OmniStructタスクの教師付きデータを使わずに、GPT-4oの性能に匹敵するような、合成データ上のはるかに小さなモデルを普遍的な構造生成モデルに微調整できる可能性を実証した。

関連論文リスト

• LLM driven Text-to-Table Generation through Sub-Tasks Guidance and Iterative Refinement [1.373677542041849]
  本稿では,新しいプロンプト技術を活用したLarge Language Models (LLM) によるテキスト・ツー・テーブル生成のための効率的なシステムを提案する。 このカスタムタスク分解により、モデルが段階的に問題に対処し、生成されたテーブルの品質を向上させることができることを示す。 提案手法は,パブリックドメインで利用可能な2つの複雑なテキスト・テーブル生成データセットのベースラインと比較して,強力な結果が得られる。
  論文  参考訳（メタデータ） (2025-08-12T05:37:12Z)
• StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs [39.108050455592036]
  StructEvalは構造化フォーマットの生成におけるLarge Language Modelsの機能を評価するためのベンチマークである。 我々のベンチマークは18の形式と44のタイプのタスクを含み、形式順守と構造的正当性のための新しい指標である。 o1-miniのような最先端のモデルでさえ平均スコアは75.58点に過ぎなかった。
  論文  参考訳（メタデータ） (2025-05-26T15:40:42Z)
• Struct-X: Enhancing Large Language Models Reasoning with Structured Data [38.558614152006975]
  構造Xは5つの重要なフェーズを通して動作する:read-model-fill-reflect-reason' 構造化データをグラフ埋め込みを用いて位相空間にエンコードする。 行方不明のエンティティ情報を知識検索モジュールで埋める。 最後のフェーズでは、選択したトークンでトポロジネットワークを構築する。
  論文  参考訳（メタデータ） (2024-07-17T13:06:25Z)
• StrucText-Eval: Evaluating Large Language Model's Reasoning Ability in Structure-Rich Text [29.03935605732864]
  我々はStrucText-Evalという,構造化テキストによる大規模言語モデルの理解と推論の精度を評価するベンチマークを紹介した。 オープンソース LLM が標準データセットで74.9% の最大精度を達成する一方で、そのパフォーマンスはより難しいデータセットで45.8% に大幅に低下していることを示す。 対照的に、人間の参加者はStrucText-Eval-Hardで92.6%の精度に達し、複雑な構造情報を扱うLLMの現在の限界を強調している。
  論文  参考訳（メタデータ） (2024-06-15T12:48:00Z)
• StructLM: Towards Building Generalist Models for Structured Knowledge Grounding [49.10029030628653]
  大規模言語モデル(LLM)では、最先端(SoTA)モデルの背後にある構造化データラグを平均35%処理できる。 私たちは、MistralとCodeLlamaモデルファミリに基づいたStructLMと呼ばれる一連のモデルをトレーニングします。 我々のStructLMシリーズは、評価された18のデータセットのうち16のタスク固有モデルを超え、8つのSKGタスクに新しいSoTAパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-02-26T15:47:01Z)
• A Simple but Effective Approach to Improve Structured Language Model Output for Information Extraction [11.165093163378152]
  大規模言語モデル(LLM)は、命令に従って非構造化自然言語を生成する際、印象的な能力を示した。 本稿では,その構造的テキスト生成能力を高めるために,効率的なG&O手法を提案する。
  論文  参考訳（メタデータ） (2024-02-20T20:42:02Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)
• StructGPT: A General Framework for Large Language Model to Reason over Structured Data [117.13986738340027]
  我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。 提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-16T17:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。