論文の概要: On Linearizing Structured Data in Encoder-Decoder Language Models: Insights from Text-to-SQL

• arxiv url: http://arxiv.org/abs/2404.02389v1
• Date: Wed, 3 Apr 2024 01:16:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 18:59:11.099408
• Title: On Linearizing Structured Data in Encoder-Decoder Language Models: Insights from Text-to-SQL
• Title（参考訳）: エンコーダ・デコーダ言語モデルにおける構造化データの線形化について:テキストからSQLへ
• Authors: Yutong Shao, Ndapa Nakashole,
• Abstract要約: 本研究では,エンコーダ-デコーダ言語モデル,特にT5における構造化データの線形処理について検討する。 この結果から,スキーマリンクや構文予測など,人間設計プロセスの模倣が可能であることが判明した。 また、構造ノードエンコーディングのエゴ中心の性質を含む、モデルの内部メカニズムに関する洞察を明らかにした。
• 参考スコア（独自算出の注目度）: 8.57550491437633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured data, prevalent in tables, databases, and knowledge graphs, poses a significant challenge in its representation. With the advent of large language models (LLMs), there has been a shift towards linearization-based methods, which process structured data as sequential token streams, diverging from approaches that explicitly model structure, often as a graph. Crucially, there remains a gap in our understanding of how these linearization-based methods handle structured data, which is inherently non-linear. This work investigates the linear handling of structured data in encoder-decoder language models, specifically T5. Our findings reveal the model's ability to mimic human-designed processes such as schema linking and syntax prediction, indicating a deep, meaningful learning of structure beyond simple token sequencing. We also uncover insights into the model's internal mechanisms, including the ego-centric nature of structure node encodings and the potential for model compression due to modality fusion redundancy. Overall, this work sheds light on the inner workings of linearization-based methods and could potentially provide guidance for future research.
• Abstract（参考訳）: テーブル、データベース、知識グラフで広く使われている構造化データは、その表現に重大な課題を生じさせる。 大規模言語モデル (LLMs) の出現に伴い、線形化に基づく手法へとシフトし、構造化されたデータをシーケンシャルなトークンストリームとして処理し、しばしばグラフとして構造を明示的にモデル化するアプローチから逸脱した。 重要なことに、これらの線形化に基づく手法が、本質的に非線形である構造化データをどのように扱うかについて、我々の理解にはギャップが残っている。 本研究では,エンコーダ-デコーダ言語モデル,特にT5における構造化データの線形処理について検討する。 この結果から,スキーマリンクや構文予測などの人間設計プロセスの模倣が可能であり,単純なトークンシークエンシング以上の構造を深く,意味のある学習で学習できることが示唆された。 また、構造ノード符号化のエゴ中心性や、モード融合冗長性によるモデル圧縮の可能性など、モデルの内部メカニズムに関する知見も明らかにした。 全体として、この研究は線形化に基づく手法の内部の作業に光を当て、将来の研究のためのガイダンスを提供する可能性がある。

関連論文リスト

• Structured Language Generation Model for Robust Structure Prediction [6.4736137270915215]
  損失校正・復号法における手法を用いて,シーケンス・ツー・シーケンスの問題を分類問題に還元するフレームワークを提案する。 実験結果から,SLGMはデータセット情報を明示せずに,データセット固有の微調整を追従し,置き換えることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-14T06:33:22Z)
• Graph Structure Inference with BAM: Introducing the Bilinear Attention Mechanism [31.99564199048314]
  本稿では,教師付きグラフ構造学習のためのニューラルネットワークモデルを提案する。 モデルは可変形状および結合された入力データで訓練される。 本手法は, 線形および多種多様な非線形依存関係に対して, 堅牢な一般化性を示す。
  論文  参考訳（メタデータ） (2024-02-12T15:48:58Z)
• DiSK: A Diffusion Model for Structured Knowledge [12.472921856815942]
  Diffusion Models of Structured Knowledge (DiSK) は構造化データに特化した新しいアーキテクチャとトレーニング手法である。 DiSKはガウス混合モデルアプローチを用いてテキスト、分類、連続的な数値データを処理する。
  論文  参考訳（メタデータ） (2023-12-08T18:59:14Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• StructGPT: A General Framework for Large Language Model to Reason over Structured Data [117.13986738340027]
  我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。 提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-16T17:45:23Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Improving Compositional Generalization with Self-Training for Data-to-Text Generation [36.973617793800315]
  データ・テキスト・タスクにおける現在の生成モデルの合成一般化について検討する。 構成的気象データセットの構造変化をシミュレートすることにより、T5モデルは目に見えない構造に一般化できないことを示す。 擬似応答選択のための細調整BLEURTを用いた自己学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T04:26:56Z)
• Structural Adapters in Pretrained Language Models for AMR-to-text Generation [59.50420985074769]
  グラフ構造データからのテキスト生成に関するこれまでの研究は、事前学習言語モデル(plm)に依存している。 グラフ構造をPLMにエンコードするアダプタ法であるStructAdaptを提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:06:50Z)
• Variational Autoencoder with Learned Latent Structure [4.41370484305827]
  学習潜在構造を持つ変分オートエンコーダ(VAELLS)について紹介する。 VAELLS は、学習可能な多様体モデルを VAE の潜在空間に組み込む。 我々は、既知の潜在構造を持つ実例でモデルを検証し、実世界のデータセット上でその能力を実証する。
  論文  参考訳（メタデータ） (2020-06-18T14:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。