論文の概要: Expression Syntax Information Bottleneck for Math Word Problems

• arxiv url: http://arxiv.org/abs/2310.15664v1
• Date: Tue, 24 Oct 2023 09:23:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 19:28:37.290490
• Title: Expression Syntax Information Bottleneck for Math Word Problems
• Title（参考訳）: 数学用語問題に対する表現構文情報ボトルネック
• Authors: Jing Xiong, Chengming Li, Min Yang, Xiping Hu, Bin Hu
• Abstract要約: Math Word Problems (MWP) は、テキストで与えられた数学的問題を自動的に解くことを目的としている。 MWPの素早い相関を含む冗長な特徴を除去する方法について検討する。
• 参考スコア（独自算出の注目度）: 30.1397463908709
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Math Word Problems (MWP) aims to automatically solve mathematical questions given in texts. Previous studies tend to design complex models to capture additional information in the original text so as to enable the model to gain more comprehensive features. In this paper, we turn our attention in the opposite direction, and work on how to discard redundant features containing spurious correlations for MWP. To this end, we design an Expression Syntax Information Bottleneck method for MWP (called ESIB) based on variational information bottleneck, which extracts essential features of expression syntax tree while filtering latent-specific redundancy containing syntax-irrelevant features. The key idea of ESIB is to encourage multiple models to predict the same expression syntax tree for different problem representations of the same problem by mutual learning so as to capture consistent information of expression syntax tree and discard latent-specific redundancy. To improve the generalization ability of the model and generate more diverse expressions, we design a self-distillation loss to encourage the model to rely more on the expression syntax information in the latent space. Experimental results on two large-scale benchmarks show that our model not only achieves state-of-the-art results but also generates more diverse solutions. The code is available.
• Abstract（参考訳）: Math Word Problems (MWP) は、テキストで与えられた数学的問題を自動的に解くことを目的としている。 以前の研究では、モデルがより包括的な機能を得るために、元のテキストで追加情報を取得するために複雑なモデルを設計する傾向がある。 本稿では,我々の注意を反対方向に向け,MWPの急激な相関を含む冗長な特徴を捨てる方法について検討する。 そこで本研究では,表現構文木の本質的特徴を抽出し,構文関連性のない特徴を含む潜在固有冗長性をフィルタリングするMWP(ESIB)のための表現構文情報ブートネック手法を設計する。 ESIBの鍵となる考え方は、複数のモデルに対して、同じ問題の異なる問題表現に対する同じ式構文木を相互学習により予測し、表現構文木の一貫性のある情報をキャプチャし、潜時固有の冗長性を捨てることである。 モデルの一般化能力を向上し、より多様な表現を生成するために、潜在空間における表現構文情報にもっと依存するようモデルに促すために、自己蒸留損失をデザインする。 2つの大規模ベンチマークにおける実験結果から,我々のモデルが最先端の結果を達成するだけでなく,より多様なソリューションを生み出すことが示された。 コードは利用可能です。

関連論文リスト

• Explaining Datasets in Words: Statistical Models with Natural Language Parameters [66.69456696878842]
  本稿では, クラスタリング, 時系列, 分類モデルなど, 自然言語の述語によってパラメータ化される統計モデル群を紹介する。 当社のフレームワークは、ユーザチャット対話の分類、時間の経過とともにどのように進化するかの特徴付け、一方の言語モデルが他方よりも優れているカテゴリを見つけることなど、幅広い問題に適用しています。
  論文  参考訳（メタデータ） (2024-09-13T01:40:20Z)
• Improving Retrieval-augmented Text-to-SQL with AST-based Ranking and Schema Pruning [10.731045939849125]
  本稿では,テキストからセマンティックへの解析に注目する。 商用データベースのスキーマのサイズとビジネスインテリジェンスソリューションのデプロイ可能性に関する課題から,入力データベース情報を動的に取得する $textASTReS$ を提案する。
  論文  参考訳（メタデータ） (2024-07-03T15:55:14Z)
• Integrating Large Language Models with Graph-based Reasoning for Conversational Question Answering [58.17090503446995]
  我々は,テキストや知識グラフ,テーブル,インフォボックスといった異質な情報源から収集された証拠について,文脈における質問の理解と推論の課題を組み合わせた会話型質問応答タスクに着目する。 提案手法はグラフ構造表現を用いて質問とその文脈に関する情報を集約する。
  論文  参考訳（メタデータ） (2024-06-14T13:28:03Z)
• Relation Rectification in Diffusion Model [64.84686527988809]
  本稿では,最初に生成できない関係を正確に表現するためにモデルを洗練することを目的とした,リレーション・リクティフィケーション(Relation Rectification)と呼ばれる新しいタスクを紹介する。 異種グラフ畳み込みネットワーク(HGCN)を利用した革新的な解を提案する。 軽量HGCNは、テキストエンコーダによって生成されたテキスト埋め込みを調整し、埋め込み空間におけるテキスト関係の正確な反映を保証する。
  論文  参考訳（メタデータ） (2024-03-29T15:54:36Z)
• generAItor: Tree-in-the-Loop Text Generation for Language Model Explainability and Adaptation [28.715001906405362]
  大規模言語モデル(LLM)は、自動補完、補助的な書き込み、チャットベースのテキスト生成など、様々な下流タスクに広くデプロイされている。 本稿では,ビーム探索ツリーの視覚的表現を解析,説明,適応する中心的な要素とする,ループ内ツリーのアプローチを提案することで,この欠点に対処する。 視覚解析技術であるGenerAItorを,タスク固有のウィジェットで中央ビーム探索木を拡大し,ターゲットとした可視化とインタラクションの可能性を提供する。
  論文  参考訳（メタデータ） (2024-03-12T13:09:15Z)
• Multi-View Graph Representation Learning for Answering Hybrid Numerical Reasoning Question [13.321467396155116]
  本稿では,粒度間の関係を考慮し,複数の視点から関係を捉えるための多視点グラフ(MVG)を提案する。 我々は,テーブル・テキスト・ハイブリッドQAベンチマーク(TAT-QA)で本モデルを検証し,最先端のモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-05T12:00:58Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• MT-Teql: Evaluating and Augmenting Consistency of Text-to-SQL Models with Metamorphic Testing [11.566463879334862]
  MT-Teqlは,テキスト保存モデルの一貫性を評価し,拡張するメタモルフィックテストベースのフレームワークである。 我々のフレームワークは、SOTAモデルから数千の予測エラーを公開し、既存のデータセットを桁違いに拡張し、標準精度を損なうことなく40%以上の矛盾エラーを除去する。
  論文  参考訳（メタデータ） (2020-12-21T07:43:31Z)
• Text Modular Networks: Learning to Decompose Tasks in the Language of Existing Models [61.480085460269514]
  本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。 我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
  論文  参考訳（メタデータ） (2020-09-01T23:45:42Z)
• Cops-Ref: A new Dataset and Task on Compositional Referring Expression Comprehension [39.40351938417889]
  Referring Expression comprehension (REF) は、シーン内の特定のオブジェクトを自然言語で識別することを目的としている。 いくつかの一般的な参照式データセットは、モデルの推論能力を評価するのに理想的なテストベッドを提供していない。 本稿では,2つの特徴を持つ表現理解の文脈における視覚的推論のための新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2020-03-01T04:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。