論文の概要: Table-LLM-Specialist: Language Model Specialists for Tables using Iterative Generator-Validator Fine-tuning

• arxiv url: http://arxiv.org/abs/2410.12164v1
• Date: Wed, 16 Oct 2024 02:04:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:43:20.825593
• Title: Table-LLM-Specialist: Language Model Specialists for Tables using Iterative Generator-Validator Fine-tuning
• Title（参考訳）: テーブル-LLMスペシャリスト:反復発電機-バリケータファインチューニングを用いたテーブル用言語モデルスペシャリスト
• Authors: Junjie Xing, Yeye He, Mengyu Zhou, Haoyu Dong, Shi Han, Dongmei Zhang, Surajit Chaudhuri,
• Abstract要約: 本稿では,テーブルタスクに特化して設計された自己学習ファインチューニングパラダイムとして,テーブル-LLM-スペシャリスト(Table-LLM-Specialist,略してテーブル-スペシャリスト)を提案する。
• 参考スコア（独自算出の注目度）: 52.08794743921141
• License:
• Abstract: In this work, we propose Table-LLM-Specialist, or Table-Specialist for short, as a new self-trained fine-tuning paradigm specifically designed for table tasks. Our insight is that for each table task, there often exist two dual versions of the same task, one generative and one classification in nature. Leveraging their duality, we propose a Generator-Validator paradigm, to iteratively generate-then-validate training data from language-models, to fine-tune stronger \sys models that can specialize in a given task, without requiring manually-labeled data. Our extensive evaluations suggest that our Table-Specialist has (1) \textit{strong performance} on diverse table tasks over vanilla language-models -- for example, Table-Specialist fine-tuned on GPT-3.5 not only outperforms vanilla GPT-3.5, but can often match or surpass GPT-4 level quality, (2) \textit{lower cost} to deploy, because when Table-Specialist fine-tuned on GPT-3.5 achieve GPT-4 level quality, it becomes possible to deploy smaller models with lower latency and inference cost, with comparable quality, and (3) \textit{better generalizability} when evaluated across multiple benchmarks, since \sys is fine-tuned on a broad range of training data systematically generated from diverse real tables. Our code and data will be available at https://github.com/microsoft/Table-LLM-Specialist.
• Abstract（参考訳）: 本研究では,テーブルタスクに特化して設計された自己学習ファインチューニングパラダイムとして,テーブル-LLM-スペシャリスト(Table-LLM-Specialist,略してテーブル-スペシャリスト)を提案する。 我々の洞察では、各テーブルタスクには、同じタスクの2つの二重バージョンがあり、1つの生成型と1つの自然分類がある。 その双対性を生かして,言語モデルから有意なトレーニングデータを反復的に生成するGenerator-Validatorパラダイムを提案し,手作業でラベル付けされたデータを必要とすることなく,特定のタスクに特化可能なより強力な‘sysモデル’を提案する。 例えば、GPT-3.5がバニラ言語モデルよりも優れているだけでなく、GPT-4レベルの品質に匹敵することが多いテーブルスペシャリスト、(2)GPT-3.5で微調整されたテーブルスペシャリストがGPT-4レベルの品質を達成すると、より小さなモデルをより低レイテンシで、推論コストでデプロイでき、(3)複数のベンチマークで評価された場合、Gisysは、実際のテーブルから体系的に生成された幅広いデータ範囲で微調整される。 私たちのコードとデータはhttps://github.com/microsoft/Table-LLM-specist.comで公開されます。

関連論文リスト

• TableGPT2: A Large Multimodal Model with Tabular Data Integration [22.77225649639725]
  TableGPT2は、593.8K以上のテーブルと2.36Mの高品質なクエリテーブル出力を備えた、厳格に事前訓練および微調整されたモデルである。 TableGPT2の重要な革新の1つは、スキーマレベルとセルレベルの情報をキャプチャするために特別に設計されたテーブルエンコーダである。
  論文  参考訳（メタデータ） (2024-11-04T13:03:13Z)
• UniTable: Towards a Unified Framework for Table Recognition via Self-Supervised Pretraining [22.031699293366486]
  テーブル認識のトレーニングパラダイムとトレーニング目標を統合するためのトレーニングフレームワークであるUniTableを提案する。 本フレームワークは,3つのTRタスクの学習目標を,タスク非依存の訓練目標である言語モデリングに統一する。 UniTableのテーブル解析機能は、既存のTRメソッドと一般的な視覚言語モデルの両方を上回っている。
  論文  参考訳（メタデータ） (2024-03-07T15:44:50Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• TableLlama: Towards Open Large Generalist Models for Tables [22.56558262472516]
  本稿では,多種多様なテーブルベースタスクのジェネラリストとして,オープンソースの大規模言語モデル(LLM)の開発に向けた第一歩を示す。 本研究では,様々な現実的なテーブルやタスクを備えた新しいデータセットであるTableInstructを構築し,LLMのチューニングと評価を行う。 さらに,LongLoRAを用いてLlama 2 (7B) を微調整することで,テーブル用の最初のオープンソースジェネラリストモデルであるTableLlamaを開発した。
  論文  参考訳（メタデータ） (2023-11-15T18:47:52Z)
• Table-GPT: Table-tuned GPT for Diverse Table Tasks [32.90285815448813]
  GPT-3.5やChatGPTのような言語モデルを、実際のテーブルから合成された多様なテーブルタスクをトレーニングデータとして使用して訓練する。 得られたTable-GPTモデルは,バニラ GPT-3.5 と ChatGPT を一貫して上回り,よりエフェタブルな機能を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-13T17:20:56Z)
• TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT [19.57099486334867]
  TableGPTは、大きな言語モデル(LLM)が外部機能コマンドを使用してテーブル上で理解し、操作できるようにするフレームワークである。 TableGPTは、ユーザに対して、テーブルデータを活用することによって、利便性とアクセシビリティを提供することを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T17:36:09Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• Table Retrieval May Not Necessitate Table-specific Model Design [83.27735758203089]
  テーブル検索のタスクに焦点をあてて、"テーブル固有のモデル設計はテーブル検索に必要か? 自然質問データセット (NQ-table) の表に基づく分析の結果, 70%以上の症例では構造が無視できる役割を担っていることがわかった。 次に、テーブル構造、すなわち補助列/カラム埋め込み、ハードアテンションマスク、ソフトリレーションに基づくアテンションバイアスを明示的にエンコードする3つのモジュールを実験する。 いずれも大きな改善は得られず、テーブル固有のモデル設計がテーブル検索に不要である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:35:23Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)
• HyperGrid: Efficient Multi-Task Transformers with Grid-wise Decomposable Hyper Projections [96.64246471034195]
  我々は,マルチタスク学習を効果的に行う新しいアプローチであるtextscHyperGridを提案する。 本手法は,微調整とマルチタスク学習のギャップを埋めるのに役立つ。
  論文  参考訳（メタデータ） (2020-07-12T02:49:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。