論文の概要: Deep Manifold Learning for Reading Comprehension and Logical Reasoning
Tasks with Polytuplet Loss
- arxiv url: http://arxiv.org/abs/2304.01046v2
- Date: Wed, 28 Jun 2023 03:12:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 17:50:35.672138
- Title: Deep Manifold Learning for Reading Comprehension and Logical Reasoning
Tasks with Polytuplet Loss
- Title（参考訳）: ポリタプレット損失を考慮した理解・論理推論タスクの深層マニフォールド学習
- Authors: Jeffrey Lu, Ivan Rodriguez
- Abstract要約: この研究は、新しい損失関数と、他のモデルよりも解釈可能なコンポーネントを持つモデルアーキテクチャを提供することに焦点を当てている。
本研究は,学習モデルの学習にこのような戦略を適用することで,読解理解と論理的推論の問題を解き明かす効果について検討する。
本稿では,三重項損失関数の拡張であるポリタップレット損失関数を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The current trend in developing machine learning models for reading
comprehension and logical reasoning tasks is focused on improving the models'
abilities to understand and utilize logical rules. This work focuses on
providing a novel loss function and accompanying model architecture that has
more interpretable components than some other models by representing a common
strategy employed by humans when given reading comprehension and logical
reasoning tasks. This strategy involves emphasizing relative accuracy over
absolute accuracy and can theoretically produce the correct answer without full
knowledge of the information required to solve the question. We examine the
effectiveness of applying such a strategy to train transfer learning models to
solve reading comprehension and logical reasoning questions. The models were
evaluated on the ReClor dataset, a challenging reading comprehension and
logical reasoning benchmark. We propose the polytuplet loss function, an
extension of the triplet loss function, to ensure prioritization of learning
the relative correctness of answer choices over learning the true accuracy of
each choice. Our results indicate that models employing polytuplet loss
outperform existing baseline models. Although polytuplet loss is a promising
alternative to other contrastive loss functions, further research is required
to quantify the benefits it may present.
- Abstract（参考訳）: 理解と論理的推論タスクを読む機械学習モデルの開発における現在のトレンドは、論理的ルールを理解し活用するモデルの能力を改善することに焦点を当てている。
本研究は、人間が理解や論理的推論タスクを与えられたときに使用する共通の戦略を表現することにより、他のモデルよりも解釈可能なコンポーネントを持つ、新しい損失関数と付随するモデルアーキテクチャを提供することに焦点を当てている。
この戦略は、絶対精度よりも相対精度を強調し、問題の解答に必要な情報を完全に知ることなく理論的に正しい解を生成できる。
このような戦略を転校学習モデルの学習に応用し,読解と論理的推論の問題を解決する効果について検討する。
モデルは、難読性理解と論理的推論ベンチマークであるreclorデータセットで評価された。
本稿では,三重項損失関数の拡張であるポリタップレット損失関数を提案する。
その結果,ポリタプレット損失モデルの方が既存のベースラインモデルより優れていることがわかった。
ポリタプレット損失は他のコントラスト損失関数の代替として有望なものであるが、その利点を定量化するためにさらなる研究が必要である。
関連論文リスト
- Neural Probabilistic Logic Learning for Knowledge Graph Reasoning [10.473897846826956]
本稿では,知識グラフの正確な推論を実現するための推論フレームワークを設計することを目的とする。
本稿では,組込みネットワークの表現力を効果的に向上するスコアリングモジュールを提案する。
我々は,変分推論に基づくマルコフ論理ネットワークを組み込むことにより,モデルの解釈可能性を向上させる。
論文 参考訳（メタデータ） (2024-07-04T07:45:46Z) - Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。
課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
論文 参考訳（メタデータ） (2024-05-30T10:49:22Z) - Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。
本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
論文 参考訳（メタデータ） (2024-04-03T22:39:33Z) - Comparing Inferential Strategies of Humans and Large Language Models in Deductive Reasoning [25.732397636695882]
大規模言語モデル(LLM)では,人間の観察と類似した推論パターンが示される。
我々の研究は、モデルの構造と規模が、その好む推論方法に大きく影響していることを示します。
論文 参考訳（メタデータ） (2024-02-20T12:58:14Z) - APOLLO: A Simple Approach for Adaptive Pretraining of Language Models
for Logical Reasoning [73.3035118224719]
本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。
APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
論文 参考訳（メタデータ） (2022-12-19T07:40:02Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳（メタデータ） (2022-05-21T19:49:04Z) - MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning [63.50909998372667]
テキストの論理的ReasonIngに対して,Metaパスを用いたコントラスト学習手法であるMERItを提案する。
2つの新しい戦略が我々の手法の必須要素である。
論文 参考訳（メタデータ） (2022-03-01T11:13:00Z) - What Makes Good Contrastive Learning on Small-Scale Wearable-based
Tasks? [59.51457877578138]
本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。
本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
論文 参考訳（メタデータ） (2022-02-12T06:10:15Z) - MPLR: a novel model for multi-target learning of logical rules for
knowledge graph reasoning [5.499688003232003]
本研究では,知識グラフに基づく推論のための論理規則の学習問題について検討する。
本稿では,学習データを完全に活用するために既存のモデルを改善するMPLRと呼ばれるモデルを提案する。
実験結果は,MPLRモデルが5つのベンチマークデータセット上で最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2021-12-12T09:16:00Z) - A Mathematical Analysis of Learning Loss for Active Learning in
Regression [2.792030485253753]
本論文では、LearningLoss++と呼ばれる新しい修正を提案するためのLearning Lossの基礎を開発する。
本稿では,学習損失の解釈において,学習損失と学習ロス++との勾配を厳密に分析し比較することで,勾配が重要であることを示す。
また,異なるスケールで機能を組み合わせて損失を予測する畳み込みアーキテクチャを提案する。
learningloss++は、モデルがパフォーマンスの悪いシナリオを特定するのに優れており、モデルリファインメントがオープン世界での信頼性の高いパフォーマンスに繋がることを示している。
論文 参考訳（メタデータ） (2021-04-19T13:54:20Z) - Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。
具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。
実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
論文 参考訳（メタデータ） (2020-05-13T04:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。