論文の概要: STable: Table Generation Framework for Encoder-Decoder Models
- arxiv url: http://arxiv.org/abs/2206.04045v1
- Date: Wed, 8 Jun 2022 17:59:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 13:24:50.983912
- Title: STable: Table Generation Framework for Encoder-Decoder Models
- Title(参考訳): エンコーダ・デコーダモデルのためのテーブル生成フレームワーク
- Authors: Micha{\l} Pietruszka, Micha{\l} Turski, {\L}ukasz Borchmann, Tomasz
Dwojak, Gabriela Pa{\l}ka, Karolina Szyndler, Dawid Jurkiewicz, {\L}ukasz
Garncarek
- Abstract要約: 本稿では,ライン項目の抽出や共同エンティティ,関係抽出,知識ベース人口といった問題に適用可能なテキスト・ツー・テーブル・ニューラルモデルのためのフレームワークを提案する。
トレーニングは、因子化順序のすべてのランダムな置換にまたがるテーブルの内容に対する、期待されるログの類似度を最大化する。
実験では、いくつかの挑戦的なデータセットに対して最先端の結果を確立するフレームワークの実用的な価値を実証している。
- 参考スコア(独自算出の注目度): 5.07112098978226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The output structure of database-like tables, consisting of values structured
in horizontal rows and vertical columns identifiable by name, can cover a wide
range of NLP tasks. Following this constatation, we propose a framework for
text-to-table neural models applicable to problems such as extraction of line
items, joint entity and relation extraction, or knowledge base population. The
permutation-based decoder of our proposal is a generalized sequential method
that comprehends information from all cells in the table. The training
maximizes the expected log-likelihood for a table's content across all random
permutations of the factorization order. During the content inference, we
exploit the model's ability to generate cells in any order by searching over
possible orderings to maximize the model's confidence and avoid substantial
error accumulation, which other sequential models are prone to. Experiments
demonstrate a high practical value of the framework, which establishes
state-of-the-art results on several challenging datasets, outperforming
previous solutions by up to 15%.
- Abstract(参考訳): データベースライクなテーブルの出力構造は、水平行で構成された値と名前で識別可能な縦列で構成されており、幅広いnlpタスクをカバーすることができる。
この結果に従い,線項目の抽出や関係抽出,知識ベース人口といった問題に適用可能な,テキスト対テーブルニューラルモデルの枠組みを提案する。
本提案の置換型デコーダは,表内の全セルから情報を総合的に理解するシーケンシャルな手法である。
トレーニングは、因子化順序のすべてのランダムな置換にまたがるテーブルの内容に対する、期待されるログの類似度を最大化する。
コンテント推論では,任意の順序でセルを生成できる能力を利用して,可能な順序を探索し,モデルの信頼性を最大化し,他のシーケンシャルモデルに起因する重大なエラーの蓄積を回避する。
実験は、いくつかの挑戦的なデータセットで最先端の結果を確立し、以前のソリューションを最大15%上回る、このフレームワークの高実用的価値を実証する。
関連論文リスト
- Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。
本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。
新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文 参考訳(メタデータ) (2024-03-04T08:38:56Z) - TAP4LLM: Table Provider on Sampling, Augmenting, and Packing
Semi-structured Data for Large Language Model Reasoning [58.11442663694328]
テーブルプロンプトを生成するための多用途前処理ツールボックスとして,TAP4LLMを提案する。
各モジュールにおいて、様々なシナリオで使用されるいくつかの一般的なメソッドを収集し、設計する。
論文 参考訳(メタデータ) (2023-12-14T15:37:04Z) - Testing the Limits of Unified Sequence to Sequence LLM Pretraining on
Diverse Table Data Tasks [2.690048852269647]
本研究では、770Mから11Bのシーケンスからシーケンスモデルにスケールする際のテーブル特定事前学習に対する統一的なアプローチの利点について検討する。
我々の研究は、770Mから11Bのシーケンスからシーケンスモデルにスケールする際、テーブル固有の事前訓練に対する統一的なアプローチの利点を研究する最初の試みである。
論文 参考訳(メタデータ) (2023-10-01T21:06:15Z) - Retrieval-Based Transformer for Table Augmentation [14.460363647772745]
我々は、自動データラングリングに対する新しいアプローチを導入する。
本研究の目的は,行数や列数,データ計算などのテーブル拡張タスクに対処することである。
我々のモデルは、教師付き統計手法と最先端のトランスフォーマーベースモデルの両方より一貫して、実質的に優れています。
論文 参考訳(メタデータ) (2023-06-20T18:51:21Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳(メタデータ) (2022-11-28T17:36:41Z) - Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing [110.4684789199555]
シナリオベースのセマンティックパーシングを導入し、最初に発話の「scenario」を曖昧にする必要がある元のタスクの変種を紹介します。
この定式化により、タスクの粗くきめ細かな側面を分離することが可能となり、それぞれがオフザシェルフニューラルネットワークモジュールで解決される。
私たちのモデルはモジュール化され、差別化可能で、解釈可能で、シナリオから余分な監督を得られるようになります。
論文 参考訳(メタデータ) (2022-02-02T08:00:21Z) - Mixed-Integer Optimization with Constraint Learning [4.462264781248437]
我々は、学習制約を伴う混合整数最適化のための幅広い方法論基盤を確立する。
我々は多くの機械学習手法の混合整数最適化・表現性を利用する。
本手法は,World Food Programme計画と化学療法最適化の両方で実証する。
論文 参考訳(メタデータ) (2021-11-04T20:19:55Z) - Retrieving Complex Tables with Multi-Granular Graph Representation
Learning [20.72341939868327]
自然言語テーブル検索の課題は,自然言語クエリに基づいて意味的に関連するテーブルを検索することである。
既存の学習システムは、テーブルがデータフレームとして構成されているという仮定に基づいて、テーブルをプレーンテキストとして扱う。
多粒グラフ表現学習を用いた一般化可能なNLTRフレームワークであるグラフベーステーブル検索(GTR)を提案する。
論文 参考訳(メタデータ) (2021-05-04T20:19:03Z) - Robust Generalization and Safe Query-Specialization in Counterfactual
Learning to Rank [62.28965622396868]
本稿では,特徴量に基づく対実的学習手法であるgenSPECアルゴリズムについて紹介する。
以上の結果から,GENSPECは十分なクリックデータを持つクエリに対して,ほとんどあるいはノイズのないクエリに対してロバストな振る舞いを持ちながら,最適なパフォーマンスを実現することが示唆された。
論文 参考訳(メタデータ) (2021-02-11T13:17:26Z) - An Integer Linear Programming Framework for Mining Constraints from Data [81.60135973848125]
データから制約をマイニングするための一般的なフレームワークを提案する。
特に、構造化された出力予測の推論を整数線形プログラミング(ILP)問題とみなす。
提案手法は,9×9のスドクパズルの解法を学習し,基礎となるルールを提供することなく,例からツリー問題を最小限に分散させることが可能であることを示す。
論文 参考訳(メタデータ) (2020-06-18T20:09:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。