論文の概要: Polytuplet Loss: A Reverse Approach to Training Reading Comprehension
and Logical Reasoning Models
- arxiv url: http://arxiv.org/abs/2304.01046v1
- Date: Mon, 3 Apr 2023 14:48:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 14:53:19.550409
- Title: Polytuplet Loss: A Reverse Approach to Training Reading Comprehension
and Logical Reasoning Models
- Title（参考訳）: Polytuplet Loss: 可読性学習と論理的推論モデルへの逆アプローチ
- Authors: Jeffrey Lu, Ivan Rodriguez
- Abstract要約: 本稿では,読解理解と論理的推論の問題を解くために,移動学習モデルの学習に戦略を適用することの有効性について検討する。
本稿では,三重項損失関数の拡張であるポリタップレット損失関数を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Throughout schooling, students are tested on reading comprehension and
logical reasoning. Students have developed various strategies for completing
such exams, some of which are generally thought to outperform others. One such
strategy involves emphasizing relative accuracy over absolute accuracy and can
theoretically produce the correct answer without full knowledge of the
information required to solve the question. This paper examines the
effectiveness of applying such a strategy to train transfer learning models to
solve reading comprehension and logical reasoning questions. The models were
evaluated on the ReClor dataset, a challenging reading comprehension and
logical reasoning benchmark. While previous studies targeted logical reasoning
skills, we focus on a general training method and model architecture. We
propose the polytuplet loss function, an extension of the triplet loss
function, to ensure prioritization of learning the relative correctness of
answer choices over learning the true accuracy of each choice. Our results
indicate that models employing polytuplet loss outperform existing baseline
models. Although polytuplet loss is a promising alternative to other
contrastive loss functions, further research is required to quantify the
benefits it may present.
- Abstract（参考訳）: 授業中、生徒は理解力と論理的推論力でテストされる。
学生はこうした試験を修了するための様々な戦略を開発しており、その一部は一般に他よりも優れていると考えられている。
そのような戦略の1つは、絶対的精度よりも相対的精度を強調することであり、理論的には問題の解答に必要な情報を完全に知ることなく正しい解を生成できる。
本稿では,この戦略を転校学習モデルの学習に応用し,読解と論理推論の問題を解く効果について検討する。
モデルは、難読性理解と論理的推論ベンチマークであるreclorデータセットで評価された。
これまでの研究は論理推論のスキルを対象としていたが,一般的なトレーニング方法とモデルアーキテクチャに注目した。
本稿では,三重項損失関数の拡張であるポリタップレット損失関数を提案する。
その結果,ポリタプレット損失モデルの方が既存のベースラインモデルより優れていることがわかった。
ポリタプレット損失は他のコントラスト損失関数の代替として有望なものであるが、その利点を定量化するためにさらなる研究が必要である。
関連論文リスト
- Neural Probabilistic Logic Learning for Knowledge Graph Reasoning [10.473897846826956]
本稿では,知識グラフの正確な推論を実現するための推論フレームワークを設計することを目的とする。
本稿では,組込みネットワークの表現力を効果的に向上するスコアリングモジュールを提案する。
我々は,変分推論に基づくマルコフ論理ネットワークを組み込むことにより,モデルの解釈可能性を向上させる。
論文 参考訳（メタデータ） (2024-07-04T07:45:46Z) - Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。
課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
論文 参考訳（メタデータ） (2024-05-30T10:49:22Z) - Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。
本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
論文 参考訳（メタデータ） (2024-04-03T22:39:33Z) - Comparing Inferential Strategies of Humans and Large Language Models in Deductive Reasoning [25.732397636695882]
大規模言語モデル(LLM)では,人間の観察と類似した推論パターンが示される。
我々の研究は、モデルの構造と規模が、その好む推論方法に大きく影響していることを示します。
論文 参考訳（メタデータ） (2024-02-20T12:58:14Z) - APOLLO: A Simple Approach for Adaptive Pretraining of Language Models
for Logical Reasoning [73.3035118224719]
本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。
APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
論文 参考訳（メタデータ） (2022-12-19T07:40:02Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳（メタデータ） (2022-05-21T19:49:04Z) - MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning [63.50909998372667]
テキストの論理的ReasonIngに対して,Metaパスを用いたコントラスト学習手法であるMERItを提案する。
2つの新しい戦略が我々の手法の必須要素である。
論文 参考訳（メタデータ） (2022-03-01T11:13:00Z) - What Makes Good Contrastive Learning on Small-Scale Wearable-based
Tasks? [59.51457877578138]
本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。
本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
論文 参考訳（メタデータ） (2022-02-12T06:10:15Z) - MPLR: a novel model for multi-target learning of logical rules for
knowledge graph reasoning [5.499688003232003]
本研究では,知識グラフに基づく推論のための論理規則の学習問題について検討する。
本稿では,学習データを完全に活用するために既存のモデルを改善するMPLRと呼ばれるモデルを提案する。
実験結果は,MPLRモデルが5つのベンチマークデータセット上で最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2021-12-12T09:16:00Z) - A Mathematical Analysis of Learning Loss for Active Learning in
Regression [2.792030485253753]
本論文では、LearningLoss++と呼ばれる新しい修正を提案するためのLearning Lossの基礎を開発する。
本稿では,学習損失の解釈において,学習損失と学習ロス++との勾配を厳密に分析し比較することで,勾配が重要であることを示す。
また,異なるスケールで機能を組み合わせて損失を予測する畳み込みアーキテクチャを提案する。
learningloss++は、モデルがパフォーマンスの悪いシナリオを特定するのに優れており、モデルリファインメントがオープン世界での信頼性の高いパフォーマンスに繋がることを示している。
論文 参考訳（メタデータ） (2021-04-19T13:54:20Z) - Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。
具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。
実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
論文 参考訳（メタデータ） (2020-05-13T04:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。