論文の概要: Towards a Holistic Understanding of Mathematical Questions with
Contrastive Pre-training
- arxiv url: http://arxiv.org/abs/2301.07558v1
- Date: Wed, 18 Jan 2023 14:23:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-19 15:42:18.360589
- Title: Towards a Holistic Understanding of Mathematical Questions with
Contrastive Pre-training
- Title(参考訳): コントラスト事前学習による数学的質問の包括的理解に向けて
- Authors: Yuting Ning, Zhenya Huang, Xin Lin, Enhong Chen, Shiwei Tong, Zheng
Gong, Shijin Wang
- Abstract要約: 本稿では,数学的問題表現,すなわち QuesCo に対する対照的な事前学習手法を提案する。
まず、コンテンツレベルと構造レベルを含む2段階の質問強化を設計し、類似した目的で文字通り多様な質問ペアを生成する。
そこで我々は,知識概念の階層的情報を完全に活用するために,知識階層を意識したランク戦略を提案する。
- 参考スコア(独自算出の注目度): 65.10741459705739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding mathematical questions effectively is a crucial task, which can
benefit many applications, such as difficulty estimation. Researchers have
drawn much attention to designing pre-training models for question
representations due to the scarcity of human annotations (e.g., labeling
difficulty). However, unlike general free-format texts (e.g., user comments),
mathematical questions are generally designed with explicit purposes and
mathematical logic, and usually consist of more complex content, such as
formulas, and related mathematical knowledge (e.g., Function). Therefore, the
problem of holistically representing mathematical questions remains
underexplored. To this end, in this paper, we propose a novel contrastive
pre-training approach for mathematical question representations, namely QuesCo,
which attempts to bring questions with more similar purposes closer.
Specifically, we first design two-level question augmentations, including
content-level and structure-level, which generate literally diverse question
pairs with similar purposes. Then, to fully exploit hierarchical information of
knowledge concepts, we propose a knowledge hierarchy-aware rank strategy
(KHAR), which ranks the similarities between questions in a fine-grained
manner. Next, we adopt a ranking contrastive learning task to optimize our
model based on the augmented and ranked questions. We conduct extensive
experiments on two real-world mathematical datasets. The experimental results
demonstrate the effectiveness of our model.
- Abstract(参考訳): 数学的質問を効果的に理解することは重要なタスクであり、難易度推定のような多くの応用に役立つ。
研究者は、人間の注釈の不足(例えばラベル付けの困難など)により、質問表現のための事前学習モデルの設計に多くの注意を払っている。
しかし、一般的な自由形式のテキスト(例えばユーザーコメント)とは異なり、数学的質問は一般に明示的な目的と数学的論理で設計され、公式や関連する数学的知識(例えば関数)といったより複雑な内容で構成されている。
したがって、数学的な問題を表すという問題はいまだ未解決のままである。
そこで本研究では,より類似した目的を持った質問をより近くに持ち込もうとする数学的質問表現,すなわちQuesCoに対する,対照的な事前学習手法を提案する。
具体的には、コンテンツレベルと構造レベルを含む2段階の質問強化を最初に設計し、類似した目的で文字通り多様な質問ペアを生成する。
そこで我々は,知識概念の階層的情報を完全に活用するために,質問間の類似点をきめ細かな方法でランク付けする知識階層対応ランク戦略(KHAR)を提案する。
次に、ランキングの対比学習タスクを採用し、拡張された質問とランク付けされた質問に基づいてモデルを最適化します。
2つの実世界の数学的データセットについて広範な実験を行う。
実験の結果,本モデルの有効性が示された。
関連論文リスト
- Soft Reasoning on Uncertain Knowledge Graphs [85.1968214421899]
本研究では,ソフト制約プログラミングの確立を動機とした,不確実な知識に対するソフトクエリの設定について検討する。
本稿では,大規模,不完全,不確実な知識グラフ上でのソフトクエリに応答する,前方推論と後方校正を併用したMLベースのアプローチを提案する。
論文 参考訳(メタデータ) (2024-03-03T13:13:53Z) - GeomVerse: A Systematic Evaluation of Large Models for Geometric
Reasoning [17.61621287003562]
幾何学問題のレンズを用いて視覚言語モデル(VLM)を様々な軸に沿って評価する。
複数の軸に沿った制御可能な難易度を持つ幾何学的質問の合成データセットを手続き的に作成する。
最新のVLMのベンチマークを用いて得られた実験結果から,これらのモデルが幾何学的対象に適さないことが示された。
論文 参考訳(メタデータ) (2023-12-19T15:25:39Z) - Semantic Parsing for Question Answering over Knowledge Graphs [3.10647754288788]
本稿では,知識グラフ上での質問応答のためのグラフ・ツー・セグメンテーション・マッピングを用いた新しい手法を提案する。
この手法は、これらの発話を解釈するための重要なアプローチである意味解析に焦点を当てている。
我々のフレームワークはルールベースとニューラルベースを組み合わせて意味セグメントのシーケンスを解析・構築する。
論文 参考訳(メタデータ) (2023-12-01T20:45:06Z) - A Survey of Deep Learning for Mathematical Reasoning [71.88150173381153]
我々は過去10年間の数学的推論とディープラーニングの交差点における重要なタスク、データセット、方法についてレビューする。
大規模ニューラルネットワークモデルの最近の進歩は、新しいベンチマークと、数学的推論にディープラーニングを使用する機会を開放している。
論文 参考訳(メタデータ) (2022-12-20T18:46:16Z) - JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem
Understanding [74.12405417718054]
本稿では,中国初の数学的事前学習言語モデル(PLM)を提示することにより,機械の数学的知性向上を目指す。
他の標準のNLPタスクとは異なり、数学的テキストは問題文に数学的用語、記号、公式を含むため理解が難しい。
基礎課程と上級課程の両方からなる数学PLMの学習を改善するための新しいカリキュラム事前学習手法を設計する。
論文 参考訳(メタデータ) (2022-06-13T17:03:52Z) - Learning to Match Mathematical Statements with Proofs [37.38969121408295]
このタスクは、研究レベルの数学的テキストの処理を改善するために設計されている。
我々は180k以上の文対からなるタスク用のデータセットをリリースする。
課題をグローバルに検討し,重み付き二部マッチングアルゴリズムを用いることで,課題に対処できることが示唆された。
論文 参考訳(メタデータ) (2021-02-03T15:38:54Z) - Knowledge-driven Data Construction for Zero-shot Evaluation in
Commonsense Question Answering [80.60605604261416]
本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。
言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。
個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
論文 参考訳(メタデータ) (2020-11-07T22:52:21Z) - Stay Hungry, Stay Focused: Generating Informative and Specific Questions
in Information-Seeking Conversations [41.74162467619795]
情報非対称な会話における情報的質問生成の問題について検討する。
実践的な質問を生成するために,情報量測定を最適化するために強化学習を用いる。
そこで本研究では,提案した実用的質問は,ベースラインモデル上で生成した質問の有意性と特異性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2020-04-30T00:49:14Z) - Machine Number Sense: A Dataset of Visual Arithmetic Problems for
Abstract and Relational Reasoning [95.18337034090648]
文法モデルを用いて自動生成される視覚的算術問題からなるデータセット、MNS(Machine Number Sense)を提案する。
これらの視覚的算術問題は幾何学的フィギュアの形をしている。
我々は、この視覚的推論タスクのベースラインとして、4つの主要なニューラルネットワークモデルを用いて、MNSデータセットをベンチマークする。
論文 参考訳(メタデータ) (2020-04-25T17:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。