論文の概要: ORIGAMI: A generative transformer architecture for predictions from semi-structured data

• arxiv url: http://arxiv.org/abs/2412.17348v1
• Date: Mon, 23 Dec 2024 07:21:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:57:04.929156
• Title: ORIGAMI: A generative transformer architecture for predictions from semi-structured data
• Title（参考訳）: ORIGAMI:半構造化データからの予測のための生成トランスフォーマーアーキテクチャ
• Authors: Thomas Rückstieß, Alana Huang, Robin Vujanic,
• Abstract要約: ORIGAMIは、ネストされたキー/バリューペアを処理するトランスフォーマーベースのアーキテクチャである。 分類を次点予測として再構成することで、ORIGAMIはシングルラベルとマルチラベルの両方のタスクを自然に処理する。
• 参考スコア（独自算出の注目度）: 3.5639148953570836
• License:
• Abstract: Despite the popularity and widespread use of semi-structured data formats such as JSON, end-to-end supervised learning applied directly to such data remains underexplored. We present ORIGAMI (Object RepresentatIon via Generative Autoregressive ModellIng), a transformer-based architecture that directly processes nested key/value pairs while preserving their hierarchical semantics. Our key technical contributions include: (1) a structure-preserving tokenizer, (2) a novel key/value position encoding scheme, and (3) a grammar-constrained training and inference framework that ensures valid outputs and accelerates training convergence. These enhancements enable efficient end-to-end modeling of semi-structured data. By reformulating classification as next-token prediction, ORIGAMI naturally handles both single-label and multi-label tasks without architectural modifications. Empirical evaluation across diverse domains demonstrates ORIGAMI's effectiveness: On standard tabular benchmarks converted to JSON, ORIGAMI remains competitive with classical and state-of-the-art approaches. On native JSON datasets, we outperform baselines on multi-label classification and specialized models such as convolutional and graph neural networks on a code classification task. Through extensive ablation studies, we validate the impact of each architectural component and establish ORIGAMI as a robust framework for end-to-end learning on semi-structured data.
• Abstract（参考訳）: JSONのような半構造化データフォーマットの人気と広く使われているにもかかわらず、そのようなデータに直接適用されるエンドツーエンドの教師あり学習はいまだに未調査である。 ORIGAMI(Object RepresentatIon via Generative Autoregressive ModellIng)は、ネストしたキー/バリューペアを直接処理し、階層的なセマンティクスを保存するトランスフォーマーベースのアーキテクチャである。 主な技術貢献者は,(1) 構造保存トークン化装置,(2) キー/値位置符号化方式,(3) 文法制約付きトレーニングおよび推論フレームワークで,有効出力を保証し,トレーニング収束を加速する。 これらの拡張により、半構造化データの効率的なエンドツーエンドモデリングが可能になる。 分類を次点予測として再構成することで、ORIGAMIはアーキテクチャの変更なしに、シングルラベルとマルチラベルの両方のタスクを自然に処理する。 さまざまなドメインにわたる実証的な評価は、ORIGAMIの有効性を示している。 JSONに変換された標準的な表型ベンチマークでは、ORIGAMIは、古典的で最先端のアプローチと競合します。 ネイティブなJSONデータセットでは、コード分類タスクにおいて、マルチラベル分類と畳み込みやグラフニューラルネットワークなどの特殊なモデルに基づいてベースラインを上回ります。 大規模なアブレーション研究を通じて、各アーキテクチャコンポーネントの影響を検証し、半構造化データに対するエンドツーエンド学習のための堅牢なフレームワークとしてORIGAMIを確立する。

関連論文リスト

• EBES: Easy Benchmarking for Event Sequences [17.277513178760348]
  イベントシーケンスは、ヘルスケア、ファイナンス、ユーザインタラクションログなど、さまざまな現実世界のドメインにおける一般的なデータ構造である。 時間データモデリング技術の進歩にもかかわらず、イベントシーケンスのパフォーマンスを評価するための標準ベンチマークは存在しない。 標準化された評価シナリオとプロトコルを備えた総合的なベンチマークツールであるEBESを紹介する。
  論文  参考訳（メタデータ） (2024-10-04T13:03:43Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Learning from Mistakes: Self-Regularizing Hierarchical Representations in Point Cloud Semantic Segmentation [15.353256018248103]
  LiDARセマンティックセマンティックセマンティクスは、きめ細かいシーン理解を実現するために注目を集めている。 本稿では、標準モデルから派生した分類ミスタケス(LEAK)からLEArnを分離する粗大な設定を提案する。 我々のLEAKアプローチは非常に一般的で、どんなセグメンテーションアーキテクチャにもシームレスに適用できます。
  論文  参考訳（メタデータ） (2023-01-26T14:52:30Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• Understanding Dynamics of Nonlinear Representation Learning and Its Application [12.697842097171119]
  暗黙的非線形表現学習のダイナミクスについて検討する。 我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。 我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
  論文  参考訳（メタデータ） (2021-06-28T16:31:30Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Distribution-Based Invariant Deep Networks for Learning Meta-Features [2.179313476241343]
  確率分布からの深層学習の最近の進歩は、分布サンプルの分類や回帰をうまく達成し、したがってサンプルの置換の下では不変である。 提案したアーキテクチャはDidaと呼ばれ、普遍近似のNN特性を継承し、そのロバスト性w.r.t. Lipschitz-bounded transformations of the input distributionが確立される。 この論文は、データセットレベルで定義された2つのタスクに対するアプローチのメリットを実証的かつ相対的に実証している。
  論文  参考訳（メタデータ） (2020-06-24T13:15:50Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。