Fugu-MT 論文翻訳(概要): RoTaR: Efficient Row-Based Table Representation Learning via Teacher-Student Training

論文の概要: RoTaR: Efficient Row-Based Table Representation Learning via Teacher-Student Training

arxiv url: http://arxiv.org/abs/2306.11696v1
Date: Tue, 20 Jun 2023 17:19:39 GMT
ステータス: 処理完了
システム内更新日: 2023-06-21 13:15:06.238811
Title: RoTaR: Efficient Row-Based Table Representation Learning via Teacher-Student Training
Title（参考訳）: RoTaR:教師学習による効率的なRow-based Table Representation Learning
Authors: Zui Chen, Lei Cao, Sam Madden
Abstract要約: 本稿では,既存の表表現学習手法が直面する効率性とスケーラビリティの問題に対処する行ベースの表表現学習法であるRoTaRを提案する。 RoTaRのキーとなるアイデアは、クエリ固有のアグリゲーションを通じて再利用可能な、クエリに依存しない行表現を生成することだ。行ベースのアーキテクチャに加えて、セル認識位置埋め込み、教師学習パラダイム、RoTaRモデルの性能向上のための選択的後方制御など、いくつかの手法を導入している。
参考スコア（独自算出の注目度）: 2.401797097758916
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose RoTaR, a row-based table representation learning method, to address the efficiency and scalability issues faced by existing table representation learning methods. The key idea of RoTaR is to generate query-agnostic row representations that could be re-used via query-specific aggregation. In addition to the row-based architecture, we introduce several techniques: cell-aware position embedding, teacher-student training paradigm, and selective backward to improve the performance of RoTaR model.
Abstract（参考訳）: 本稿では,既存の表表現学習手法が直面する効率性とスケーラビリティの問題に対処する行ベースの表表現学習法であるRoTaRを提案する。 RoTaRのキーとなるアイデアは、クエリ固有の集約を通じて再利用可能な、クエリに依存しない行表現を生成することだ。行ベースのアーキテクチャに加えて,セルアウェアな位置埋め込み,教師と学生のトレーニングパラダイム,そしてロターモデルの性能向上のための選択的後方的手法も紹介する。

関連論文リスト

HeLM: Highlighted Evidence augmented Language Model for Enhanced Table-to-Text Generation [7.69801337810352]
LLaMA2モデル上でパラメータ効率の良い微調整を行う。我々のアプローチは、テーブル固有の行データを強調することにより、推論情報を入力に注入することである。 FetaQAデータセットとQTSummデータセットの両方で、我々のアプローチは最先端の結果を得た。
論文参考訳（メタデータ） (2023-11-15T12:02:52Z)
Few-Shot Data-to-Text Generation via Unified Representation and Multi-Source Learning [114.54944761345594]
本稿では,既存の手法の限界に対処する構造化データ・テキスト生成手法を提案する。提案手法は,マルチタスクトレーニング,ゼロショット,少数ショットシナリオの性能向上を目的としている。
論文参考訳（メタデータ） (2023-08-10T03:09:12Z)
Modeling Relational Patterns for Logical Query Answering over Knowledge Graphs [29.47155614953955]
そこで我々は,複雑な空間における回転により,クエリ領域を幾何学的円錐と代数的クエリ演算子として定義する新しいクエリ埋め込み手法RoConEを開発した。いくつかのベンチマークデータセットに対する実験結果から,論理的問合せ処理の強化のための関係パターンの利点が確認された。
論文参考訳（メタデータ） (2023-03-21T13:59:15Z)
Robust Table Structure Recognition with Dynamic Queries Enhanced Detection Transformer [15.708108572696062]
本稿では,TSRFormerと呼ばれる新しいテーブル構造認識手法を提案する。これらの新しい手法により、我々のTSRFormerは、SciTSR、PubTabNet、WTW、FinTabNetなど、いくつかのベンチマークデータセットで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-03-21T06:20:49Z)
SEMv2: Table Separation Line Detection Based on Instance Segmentation [96.36188168694781]
SEMv2(SEM: Split, Embed, Merge)と呼ばれるテーブル構造認識器を提案する。本稿では,テーブル分離ラインのインスタンスレベルの識別問題に対処し,条件付き畳み込みに基づくテーブル分離ライン検出戦略を提案する。 SEMv2を包括的に評価するために、iFLYTABと呼ばれるテーブル構造認識のためのより困難なデータセットも提示する。
論文参考訳（メタデータ） (2023-03-08T05:15:01Z)
EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文参考訳（メタデータ） (2023-01-27T22:04:37Z)
Table Retrieval May Not Necessitate Table-specific Model Design [83.27735758203089]
テーブル検索のタスクに焦点をあてて、"テーブル固有のモデル設計はテーブル検索に必要か? 自然質問データセット (NQ-table) の表に基づく分析の結果, 70%以上の症例では構造が無視できる役割を担っていることがわかった。次に、テーブル構造、すなわち補助列/カラム埋め込み、ハードアテンションマスク、ソフトリレーションに基づくアテンションバイアスを明示的にエンコードする3つのモジュールを実験する。いずれも大きな改善は得られず、テーブル固有のモデル設計がテーブル検索に不要である可能性が示唆された。
論文参考訳（メタデータ） (2022-05-19T20:35:23Z)
Generating Table Vector Representations [11.092714216647245]
本稿では,テーブル・ツー・クラスアノテーションの手法の評価を行う。テーブル分類を機械学習タスクとして形式的に定義する。
論文参考訳（メタデータ） (2021-10-28T14:05:21Z)
Retrieving Complex Tables with Multi-Granular Graph Representation Learning [20.72341939868327]
自然言語テーブル検索の課題は,自然言語クエリに基づいて意味的に関連するテーブルを検索することである。既存の学習システムは、テーブルがデータフレームとして構成されているという仮定に基づいて、テーブルをプレーンテキストとして扱う。多粒グラフ表現学習を用いた一般化可能なNLTRフレームワークであるグラフベーステーブル検索(GTR)を提案する。
論文参考訳（メタデータ） (2021-05-04T20:19:03Z)
GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
論文参考訳（メタデータ） (2020-09-29T08:17:58Z)
AutoRC: Improving BERT Based Relation Classification Models via Architecture Search [50.349407334562045]
BERTに基づく関係分類(RC)モデルは、従来のディープラーニングモデルよりも大幅に改善されている。最適なアーキテクチャとは何かという合意は得られない。 BERTをベースとしたRCモデルのための包括的検索空間を設計し、設計選択を自動的に検出するためにNAS(Neural Architecture Search)手法を用いる。
論文参考訳（メタデータ） (2020-09-22T16:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。