論文の概要: Structured Language Generation Model for Robust Structure Prediction

• arxiv url: http://arxiv.org/abs/2402.08971v1
• Date: Wed, 14 Feb 2024 06:33:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 16:46:08.590177
• Title: Structured Language Generation Model for Robust Structure Prediction
• Title（参考訳）: ロバスト構造予測のための構造言語生成モデル
• Authors: Minho Lee and Junghyun Min and Woochul Lee and Yeonsoo Lee
• Abstract要約: 構造化された出力のより優れた一般化のための構造化言語生成モデル(SLGM)を提案する。 SLGMは,データセット情報を使わずに性能の維持に成功し,フォーマットエラーがはるかに少ないことを示した。
• 参考スコア（独自算出の注目度）: 6.4736137270915215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Structured Language Generation Model (SLGM), a mixture of new loss function and inference method for better generalization of structured outputs. Previous studies on structure prediction (e.g. NER, RE) make use of explicit dataset information, which would boost performance, yet it might pose challenges to robust generalization in real-world situations. Instead, our model gives generalized format information about data indirectly. With format information, we could reduce sequence-to-sequence problem into classification problem via loss calibration and formatted decoding. Our experimental results showed SLGM successfully maintain performance without dataset information, and showed much less format errors. We also showed our model can work like adapters on individual dataset, with no additional training.
• Abstract（参考訳）: 本稿では,新たな損失関数と推論法を組み合わせた構造化言語生成モデル(SLGM)を提案する。 構造予測に関する以前の研究(ner、reなど)では、明示的なデータセット情報を使用して、パフォーマンスを高めるが、現実の状況において堅牢な一般化に困難をもたらす可能性がある。 代わりに、このモデルは間接的にデータに関する一般的なフォーマット情報を与える。 フォーマット情報を用いることで、ロスキャリブレーションとフォーマットドデコードによって、シーケンス列間の問題を分類問題に還元することができる。 実験の結果,SLGMはデータセット情報のない性能維持に成功し,フォーマットエラーははるかに少なかった。 また、当社のモデルは、追加のトレーニングなしで、個々のデータセットのアダプタのように動作することも示しました。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• On Linearizing Structured Data in Encoder-Decoder Language Models: Insights from Text-to-SQL [8.57550491437633]
  本研究では,エンコーダ-デコーダ言語モデル,特にT5における構造化データの線形処理について検討する。 この結果から,スキーマリンクや構文予測など,人間設計プロセスの模倣が可能であることが判明した。 また、構造ノードエンコーディングのエゴ中心の性質を含む、モデルの内部メカニズムに関する洞察を明らかにした。
  論文  参考訳（メタデータ） (2024-04-03T01:16:20Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Invariant Structure Learning for Better Generalization and Causal Explainability [44.580704853704994]
  因果構造発見を改善するための新しいフレームワークである不変構造学習(ISL)を提案する。 ISLはデータを異なる環境に分割し、異なる環境にわたってターゲットに不変な構造を学ぶ。 我々は、ISLが因果構造を正確に発見し、代替手法より優れ、大きな分布シフトを持つデータセットに対して優れた一般化をもたらすことを示した。
  論文  参考訳（メタデータ） (2022-06-13T21:04:23Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• How Does Data Corruption Affect Natural Language Understanding Models? A Study on GLUE datasets [4.645287693363387]
  モデルが微調整されたり、破損したデータでテストされた場合、ほとんどのGLUEタスクのパフォーマンスは高いままである。 提案したデータ変換は,特定のデータセットがモデルの言語理解能力を評価するための適切なテストベッドを構成する範囲を評価するための診断ツールとして利用することができる。
  論文  参考訳（メタデータ） (2022-01-12T13:35:53Z)
• Improving Compositional Generalization with Self-Training for Data-to-Text Generation [36.973617793800315]
  データ・テキスト・タスクにおける現在の生成モデルの合成一般化について検討する。 構成的気象データセットの構造変化をシミュレートすることにより、T5モデルは目に見えない構造に一般化できないことを示す。 擬似応答選択のための細調整BLEURTを用いた自己学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T04:26:56Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。