論文の概要: Improving Compositional Generalization in Math Word Problem Solving

• arxiv url: http://arxiv.org/abs/2209.01352v1
• Date: Sat, 3 Sep 2022 07:54:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 13:34:00.962666
• Title: Improving Compositional Generalization in Math Word Problem Solving
• Title（参考訳）: 数学語問題解決における合成一般化の改善
• Authors: Yunshi Lan, Lei Wang, Jing Jiang, Ee-Peng Lim
• Abstract要約: 数学語問題(MWP)における合成一般化の研究 本稿では,学習データに多様な構成変化を含む反復的データ拡張手法を提案する。 また,データ拡張法により,一般的なMWP法の構成一般化が大幅に向上することが確認できた。
• 参考スコア（独自算出の注目度）: 29.547586634016472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositional generalization refers to a model's capability to generalize to newly composed input data based on the data components observed during training. It has triggered a series of compositional generalization analysis on different tasks as generalization is an important aspect of language and problem solving skills. However, the similar discussion on math word problems (MWPs) is limited. In this manuscript, we study compositional generalization in MWP solving. Specifically, we first introduce a data splitting method to create compositional splits from existing MWP datasets. Meanwhile, we synthesize data to isolate the effect of compositions. To improve the compositional generalization in MWP solving, we propose an iterative data augmentation method that includes diverse compositional variation into training data and could collaborate with MWP methods. During the evaluation, we examine a set of methods and find all of them encounter severe performance loss on the evaluated datasets. We also find our data augmentation method could significantly improve the compositional generalization of general MWP methods. Code is available at https://github.com/demoleiwang/CGMWP.
• Abstract（参考訳）: 合成一般化とは、トレーニング中に観測されたデータコンポーネントに基づいて、新しく構成された入力データに一般化するモデルの能力を指す。 言語と問題解決のスキルにおいて、一般化が重要な側面であるため、異なるタスクに関する一連の構成的一般化分析をトリガーしている。 しかし、同様の数学用語問題(MWP)に関する議論は限られている。 本稿では,MWP問題解決における構成一般化について検討する。 具体的には,既存のMWPデータセットから合成分割を生成するデータ分割手法を提案する。 一方,構成の影響を分離するためにデータを合成する。 MWP問題解決における構成一般化を改善するために,訓練データに多様な構成変化を含む反復的データ拡張手法を提案し,MWP法と協調する。 評価中、一連の手法を検証し、評価されたデータセット上でそれらすべてが深刻な性能損失に遭遇することを確認する。 また,データ拡張法は一般的なMWP法の構成一般化を著しく改善する可能性がある。 コードはhttps://github.com/demoleiwang/CGMWPで入手できる。

関連論文リスト

• CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
  現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。 学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。 本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
  論文  参考訳（メタデータ） (2024-06-07T19:10:35Z)
• SPOR: A Comprehensive and Practical Evaluation Method for Compositional Generalization in Data-to-Text Generation [21.68354181391989]
  本研究では,データ・テキスト生成における合成一般化のための総合的・実践的な評価手法であるSPORを提案する。 2つの異なるデータセット上でSPORを実証し、LLMを含む既存の言語モデルを評価する。
  論文  参考訳（メタデータ） (2024-05-17T09:25:30Z)
• Benchmarking and Improving Compositional Generalization of Multi-aspect Controllable Text Generation [56.854968623992214]
  CompMCTGは多様なマルチアスペクトラベル付きデータセットを含むベンチマークである。 本稿ではメタラーニングを取り入れたトレーニングフレームワークであるMeta-MCTGを紹介する。 94.4%の症例において,Meta-MCTGの有効性を示す。
  論文  参考訳（メタデータ） (2024-04-05T17:26:22Z)
• Data Augmentation with In-Context Learning and Comparative Evaluation in Math Word Problem Solving [0.0]
  本研究の目的は,MWPソルバにより多様なトレーニングセットを提供することであり,最終的には様々な数学問題を解く能力を向上させることである。 本稿では,同義語置換法,ルールベース:質問置換法,ルールベース:質問方法論を逆転させるような問題テキストや方程式を変更することで,データ拡張のためのいくつかの手法を提案する。 本研究は,Llama-7b言語モデルを用いて,新しい文脈内学習拡張手法を導入することで拡張する。
  論文  参考訳（メタデータ） (2024-04-05T07:57:03Z)
• Towards Understanding the Relationship between In-context Learning and Compositional Generalization [7.843029855730508]
  私たちは、通常の学習を非常に難しい設定で因果変換器を訓練します。 しかし、このモデルは、初期の例を利用して、後の例に一般化することで、タスクを解くことができる。 データセット、SCAN、COGS、GeoQueryの評価では、この方法でトレーニングされたモデルは、実際に合成の一般化の改善を示している。
  論文  参考訳（メタデータ） (2024-03-18T14:45:52Z)
• Compositional Generalization for Data-to-Text Generation [86.79706513098104]
  本稿では,群に述語をクラスタ化することで構成一般化に対処する新しいモデルを提案する。 本モデルでは,1つの述語を1度に1つのクラスタに依存して文単位でテキストを生成する。 すべての評価指標でT5ベースラインをはるかに上回る。
  論文  参考訳（メタデータ） (2023-12-05T13:23:15Z)
• On Evaluating Multilingual Compositional Generalization with Translated Datasets [34.51457321680049]
  構成一般化能力は言語によって異なることを示す。 我々は、MCWQデータセットを英語から中国語、日本語に忠実に翻訳する。 MCWQ-Rとよばれるロバストなベンチマークが得られたとしても、構成の分布は言語的な相違によって依然として苦しんでいることが示される。
  論文  参考訳（メタデータ） (2023-06-20T10:03:57Z)
• Categorizing Semantic Representations for Neural Machine Translation [53.88794787958174]
  ソースの文脈化表現に分類を導入する。 主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。 MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-13T04:07:08Z)
• Grounded Graph Decoding Improves Compositional Generalization in Question Answering [68.72605660152101]
  質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。 構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。 本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-05T17:50:14Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。