論文の概要: Towards a Holistic Understanding of Mathematical Questions with Contrastive Pre-training

• arxiv url: http://arxiv.org/abs/2301.07558v1
• Date: Wed, 18 Jan 2023 14:23:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-19 15:42:18.360589
• Title: Towards a Holistic Understanding of Mathematical Questions with Contrastive Pre-training
• Title（参考訳）: コントラスト事前学習による数学的質問の包括的理解に向けて
• Authors: Yuting Ning, Zhenya Huang, Xin Lin, Enhong Chen, Shiwei Tong, Zheng Gong, Shijin Wang
• Abstract要約: 本稿では,数学的問題表現,すなわち QuesCo に対する対照的な事前学習手法を提案する。 まず、コンテンツレベルと構造レベルを含む2段階の質問強化を設計し、類似した目的で文字通り多様な質問ペアを生成する。 そこで我々は,知識概念の階層的情報を完全に活用するために,知識階層を意識したランク戦略を提案する。
• 参考スコア（独自算出の注目度）: 65.10741459705739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding mathematical questions effectively is a crucial task, which can benefit many applications, such as difficulty estimation. Researchers have drawn much attention to designing pre-training models for question representations due to the scarcity of human annotations (e.g., labeling difficulty). However, unlike general free-format texts (e.g., user comments), mathematical questions are generally designed with explicit purposes and mathematical logic, and usually consist of more complex content, such as formulas, and related mathematical knowledge (e.g., Function). Therefore, the problem of holistically representing mathematical questions remains underexplored. To this end, in this paper, we propose a novel contrastive pre-training approach for mathematical question representations, namely QuesCo, which attempts to bring questions with more similar purposes closer. Specifically, we first design two-level question augmentations, including content-level and structure-level, which generate literally diverse question pairs with similar purposes. Then, to fully exploit hierarchical information of knowledge concepts, we propose a knowledge hierarchy-aware rank strategy (KHAR), which ranks the similarities between questions in a fine-grained manner. Next, we adopt a ranking contrastive learning task to optimize our model based on the augmented and ranked questions. We conduct extensive experiments on two real-world mathematical datasets. The experimental results demonstrate the effectiveness of our model.
• Abstract（参考訳）: 数学的質問を効果的に理解することは重要なタスクであり、難易度推定のような多くの応用に役立つ。 研究者は、人間の注釈の不足(例えばラベル付けの困難など)により、質問表現のための事前学習モデルの設計に多くの注意を払っている。 しかし、一般的な自由形式のテキスト(例えばユーザーコメント)とは異なり、数学的質問は一般に明示的な目的と数学的論理で設計され、公式や関連する数学的知識(例えば関数)といったより複雑な内容で構成されている。 したがって、数学的な問題を表すという問題はいまだ未解決のままである。 そこで本研究では,より類似した目的を持った質問をより近くに持ち込もうとする数学的質問表現,すなわちQuesCoに対する,対照的な事前学習手法を提案する。 具体的には、コンテンツレベルと構造レベルを含む2段階の質問強化を最初に設計し、類似した目的で文字通り多様な質問ペアを生成する。 そこで我々は,知識概念の階層的情報を完全に活用するために,質問間の類似点をきめ細かな方法でランク付けする知識階層対応ランク戦略(KHAR)を提案する。 次に、ランキングの対比学習タスクを採用し、拡張された質問とランク付けされた質問に基づいてモデルを最適化します。 2つの実世界の数学的データセットについて広範な実験を行う。 実験の結果,本モデルの有効性が示された。

関連論文リスト

• KAAE: Numerical Reasoning for Knowledge Graphs via Knowledge-aware Attributes Learning [26.605386507466733]
  数値推論は自然言語処理やレコメンダシステムなど、さまざまな人工知能応用において重要である。 既存のアプローチは、セマンティックな関連性とセマンティックなあいまいさという、モデリングにおいて2つの重要な課題に直面する。 数値推論における知識グラフ埋め込みのための新しい知識認識属性埋め込みモデル(KAAE)を提案する。
  論文  参考訳（メタデータ） (2024-11-20T00:47:03Z)
• Multi-Faceted Question Complexity Estimation Targeting Topic Domain-Specificity [0.0]
  本稿では,NLP手法と知識グラフ解析を併用した,ドメイン固有の質問難度推定のための新しいフレームワークを提案する。 本稿では,トピック検索コスト,トピック・サリエンス,トピック・コヒーレンス,トピック・スーパーファシリティの4つの主要なパラメータを紹介する。 これらの特徴を訓練したモデルにより,質問の難易度を予測する手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-23T05:40:35Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Hierarchical Deconstruction of LLM Reasoning: A Graph-Based Framework for Analyzing Knowledge Utilization [30.349165483935682]
  大規模言語モデル(LLM)が推論の知識をどのように利用するのかは、まだよく分かっていない。 我々は,DepthQAデータセットを開発し,質問を3つの深さに分解する: (i)概念的知識の想起, (ii)手続き的知識の適用, (iii)戦略的知識の分析。 差分パターンは、モデルのキャパシティとトレーニングデータ記憶の可能性にまたがって観察される。
  論文  参考訳（メタデータ） (2024-06-27T19:29:36Z)
• Soft Reasoning on Uncertain Knowledge Graphs [85.1968214421899]
  本研究では,ソフト制約プログラミングの確立を動機とした,不確実な知識に対するソフトクエリの設定について検討する。 本稿では,大規模,不完全,不確実な知識グラフ上でのソフトクエリに応答する,前方推論と後方校正を併用したMLベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-03T13:13:53Z)
• GeomVerse: A Systematic Evaluation of Large Models for Geometric Reasoning [17.61621287003562]
  幾何学問題のレンズを用いて視覚言語モデル(VLM)を様々な軸に沿って評価する。 複数の軸に沿った制御可能な難易度を持つ幾何学的質問の合成データセットを手続き的に作成する。 最新のVLMのベンチマークを用いて得られた実験結果から,これらのモデルが幾何学的対象に適さないことが示された。
  論文  参考訳（メタデータ） (2023-12-19T15:25:39Z)
• Semantic Parsing for Question Answering over Knowledge Graphs [3.10647754288788]
  本稿では,知識グラフ上での質問応答のためのグラフ・ツー・セグメンテーション・マッピングを用いた新しい手法を提案する。 この手法は、これらの発話を解釈するための重要なアプローチである意味解析に焦点を当てている。 我々のフレームワークはルールベースとニューラルベースを組み合わせて意味セグメントのシーケンスを解析・構築する。
  論文  参考訳（メタデータ） (2023-12-01T20:45:06Z)
• JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem Understanding [74.12405417718054]
  本稿では,中国初の数学的事前学習言語モデル(PLM)を提示することにより,機械の数学的知性向上を目指す。 他の標準のNLPタスクとは異なり、数学的テキストは問題文に数学的用語、記号、公式を含むため理解が難しい。 基礎課程と上級課程の両方からなる数学PLMの学習を改善するための新しいカリキュラム事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-06-13T17:03:52Z)
• Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering [80.60605604261416]
  本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。 言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。 個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
  論文  参考訳（メタデータ） (2020-11-07T22:52:21Z)
• Machine Number Sense: A Dataset of Visual Arithmetic Problems for Abstract and Relational Reasoning [95.18337034090648]
  文法モデルを用いて自動生成される視覚的算術問題からなるデータセット、MNS(Machine Number Sense)を提案する。 これらの視覚的算術問題は幾何学的フィギュアの形をしている。 我々は、この視覚的推論タスクのベースラインとして、4つの主要なニューラルネットワークモデルを用いて、MNSデータセットをベンチマークする。
  論文  参考訳（メタデータ） (2020-04-25T17:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。