論文の概要: Table-GPT: Table-tuned GPT for Diverse Table Tasks

• arxiv url: http://arxiv.org/abs/2310.09263v1
• Date: Fri, 13 Oct 2023 17:20:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 11:51:51.410764
• Title: Table-GPT: Table-tuned GPT for Diverse Table Tasks
• Title（参考訳）: table-gpt:多様なテーブルタスクのためのテーブル調整gpt
• Authors: Peng Li, Yeye He, Dror Yashar, Weiwei Cui, Song Ge, Haidong Zhang, Danielle Rifinski Fainman, Dongmei Zhang, Surajit Chaudhuri
• Abstract要約: GPT-3.5やChatGPTのような言語モデルを、実際のテーブルから合成された多様なテーブルタスクをトレーニングデータとして使用して訓練する。 得られたTable-GPTモデルは,バニラ GPT-3.5 と ChatGPT を一貫して上回り,よりエフェタブルな機能を示すことを示す。
• 参考スコア（独自算出の注目度）: 32.90285815448813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic table-understanding tasks, we observe that today's language models are still sub-optimal in many table-related tasks, likely because they are pre-trained predominantly on \emph{one-dimensional} natural-language texts, whereas relational tables are \emph{two-dimensional} objects. In this work, we propose a new "\emph{table-tuning}" paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data, with the goal of enhancing language models' ability to understand tables and perform table tasks. We show that our resulting Table-GPT models demonstrate (1) better \emph{table-understanding} capabilities, by consistently outperforming the vanilla GPT-3.5 and ChatGPT, on a wide-range of table tasks, including holdout unseen tasks, and (2) strong \emph{generalizability}, in its ability to respond to diverse human instructions to perform new table-tasks, in a manner similar to GPT-3.5 and ChatGPT.
• Abstract（参考訳）: GPT-3.5やChatGPTといった言語モデルは、多種多様な人間の指示に従い、幅広いタスクを実行する能力を示す。 しかしながら, 基本的タスクを多用した言語モデルを探索する場合, 今日の言語モデルは, 表関連タスクにおいてまだサブ最適であり, それらは主に emph{one-dimensional} 自然言語テキストで事前訓練されているのに対して, リレーショナルテーブルは \emph{two-dimensional} オブジェクトである。 本稿では,gpt-3.5 や chatgpt などの言語モデルの学習と精細化を継続し,実表から合成した多種多様なテーブルタスクをトレーニングデータとして使用し,言語モデルのテーブル理解能力の向上とテーブルタスクの実行を目標とした,新たな "\emph{table-tuning}" パラダイムを提案する。 GPT-3.5 や ChatGPT と同様の方法で,(1) 多様な人的指示に応答して新しいテーブルタスクを実行する能力において,(1) テーブルタスクのホールドアウトを含む広範囲なテーブルタスクにおいて,バニラ GPT-3.5 や ChatGPT より優れた \emph{table-understanding} 能力を示す。

関連論文リスト

• Table-LLM-Specialist: Language Model Specialists for Tables using Iterative Generator-Validator Fine-tuning [52.08794743921141]
  本稿では,テーブルタスクに特化して設計された自己学習ファインチューニングパラダイムとして,テーブル-LLM-スペシャリスト(Table-LLM-Specialist,略してテーブル-スペシャリスト)を提案する。
  論文  参考訳（メタデータ） (2024-10-16T02:04:17Z)
• TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT [19.57099486334867]
  TableGPTは、大きな言語モデル(LLM)が外部機能コマンドを使用してテーブル上で理解し、操作できるようにするフレームワークである。 TableGPTは、ユーザに対して、テーブルデータを活用することによって、利便性とアクセシビリティを提供することを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T17:36:09Z)
• Bridge the Gap between Language models and Tabular Understanding [99.88470271644894]
  自然言語領域における事前学習の成功以降,テーブル事前学習のパラダイムが提案され,急速に採用されている。 有望な発見にもかかわらず、事前トレーニングと微調整フェーズの間には入力ギャップがある。 UTPは,テーブルテキスト,テーブル,テキストの3種類のマルチモーダル入力を動的にサポートする手法である。
  論文  参考訳（メタデータ） (2023-02-16T15:16:55Z)
• ReasTAP: Injecting Table Reasoning Skills During Pre-training via Synthetic Reasoning Examples [15.212332890570869]
  複雑なテーブル固有のアーキテクチャ設計を必要とせずに、事前学習中に高レベルのテーブル推論スキルをモデルに注入できることを示すためにReasTAPを開発した。 ReasTAPはすべてのベンチマークで最新のパフォーマンスを実現し、低リソース設定で大幅に改善されている。
  論文  参考訳（メタデータ） (2022-10-22T07:04:02Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• Table Retrieval May Not Necessitate Table-specific Model Design [83.27735758203089]
  テーブル検索のタスクに焦点をあてて、"テーブル固有のモデル設計はテーブル検索に必要か? 自然質問データセット (NQ-table) の表に基づく分析の結果, 70%以上の症例では構造が無視できる役割を担っていることがわかった。 次に、テーブル構造、すなわち補助列/カラム埋め込み、ハードアテンションマスク、ソフトリレーションに基づくアテンションバイアスを明示的にエンコードする3つのモジュールを実験する。 いずれも大きな改善は得られず、テーブル固有のモデル設計がテーブル検索に不要である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:35:23Z)
• Learning Better Representation for Tables by Self-Supervised Tasks [23.69766883380125]
  本稿では,表表現の学習を支援するために,数値順序付けと有意順序付けという2つの自己教師型タスクを提案する。 本手法はNBAゲーム統計と関連ニュースからなるROTOWIREを用いて検証する。
  論文  参考訳（メタデータ） (2020-10-15T09:03:38Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)
• Language Models are Few-Shot Learners [61.36677350504291]
  言語モデルのスケールアップにより、タスクに依存しない、少数ショットのパフォーマンスが大幅に向上することを示す。 我々は、1750億のパラメータを持つ自動回帰言語モデルであるGPT-3を訓練し、その性能を数ショットでテストする。 GPT-3は、翻訳、質問応答、クローズタスクを含む多くのNLPデータセットで高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-05-28T17:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。