論文の概要: Mind Reasoning Manners: Enhancing Type Perception for Generalized Zero-shot Logical Reasoning over Text

• arxiv url: http://arxiv.org/abs/2301.02983v1
• Date: Sun, 8 Jan 2023 05:24:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 16:53:30.726960
• Title: Mind Reasoning Manners: Enhancing Type Perception for Generalized Zero-shot Logical Reasoning over Text
• Title（参考訳）: Mind Reasoning Manners: テキスト上の一般化ゼロショット論理推論のための型知覚の強化
• Authors: Fangzhi Xu, Jun Liu, Qika Lin, Tianzhe Zhao, Jian Zhang, Lingling Zhang
• Abstract要約: 一般化されたゼロショット論理的推論のための新しいベンチマークであるZsLRを提案する。 問題1では、ZsLRという一般化ゼロショット論理推論のための新しいベンチマークを提案する。 問題2では,グローバル表現における型認識を改善するために,型認識モデルTaCoを提案する。
• 参考スコア（独自算出の注目度）: 12.988062333041398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Logical reasoning task involves diverse types of complex reasoning over text, based on the form of multiple-choice question answering. Given the context, question and a set of options as the input, previous methods achieve superior performances on the full-data setting. However, the current benchmark dataset has the ideal assumption that the reasoning type distribution on the train split is close to the test split, which is inconsistent with many real application scenarios. To address it, there remain two problems to be studied: (1) How is the zero-shot capability of the models (train on seen types and test on unseen types)? (2) How to enhance the perception of reasoning types for the models? For problem 1, we propose a new benchmark for generalized zero-shot logical reasoning, named ZsLR. It includes six splits based on the three type sampling strategies. For problem 2, a type-aware model TaCo is proposed. It utilizes both the heuristic input reconstruction and the contrastive learning to improve the type perception in the global representation. Extensive experiments on both the zero-shot and full-data settings prove the superiority of TaCo over the state-of-the-art methods. Also, we experiment and verify the generalization capability of TaCo on other logical reasoning dataset.
• Abstract（参考訳）: 論理的推論タスクは、多選択質問応答の形式に基づく、テキスト上の多種多様な複雑な推論を含む。 入力としてコンテキスト、質問、オプションのセットが与えられた場合、前の方法は全データ設定で優れたパフォーマンスを達成する。 しかし、現在のベンチマークデータセットは、列車分割の推論型分布がテスト分割に近いという理想的な仮定を持っている。 これに対処するために、研究すべき課題は2つある: (1)モデルのゼロショット能力(見かけの型でトレーニングし、見当たらない型でテストする)はどのようにあるか? 2)モデルに対する推論型の知覚を高めるには? 問題1では、ZsLRという一般化ゼロショット論理推論のための新しいベンチマークを提案する。 3種類のサンプリング戦略に基づいた6つの分割を含む。 問題2では,タイプアウェアモデルTaCoを提案する。 ヒューリスティックな入力再構成とコントラスト学習の両方を利用して、グローバル表現の型知覚を改善する。 ゼロショットとフルデータ設定の両方に対する大規模な実験は、最先端の手法よりもTaCoの方が優れていることを証明している。 また,他の論理的推論データセット上でのTaCoの一般化能力の実験と検証を行った。

関連論文リスト

• Uncovering Autoregressive LLM Knowledge of Thematic Fit in Event Representation [0.09558392439655014]
  我々は,事前学習した自己回帰型LLMが,テーマ適合性に関する一貫した表現可能な知識を持っているかどうかを評価する。 いくつかの心理言語学的データセットを用いて, 閉じた状態とオープンな状態のLLMを評価した。 本結果は,自己説明型セマンティックロールラベルを持つデータセットに対して,連鎖推論がより効果的であることを示す。
  論文  参考訳（メタデータ） (2024-10-19T18:25:30Z)
• Instance-adaptive Zero-shot Chain-of-Thought Prompting [32.700073951068575]
  Zero-shot Chain-of-Thought (CoT) は,実世界の推論タスクにおける大規模言語モデル(LLM)の性能向上のための,シンプルかつ効果的な戦略として出現する。 この研究は、良いプロンプトと悪いプロンプトを適応的に微分することで、代替のゼロショットCoT推論スキームとして、インスタンス適応プロンプトアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-09-30T16:00:34Z)
• Thought-Path Contrastive Learning via Premise-Oriented Data Augmentation for Logical Reading Comprehension [9.67774998354062]
  これまでの研究は主に、Chain-of-Thought(CoT)やデータ拡張による論理的推論能力の向上に重点を置いてきた。 本稿では,CoTの論理式を生成するためのPODA(Premise-Oriented Data Augmentation)フレームワークを提案する。 また,本論文では,原案と反実例の推論経路を比較検討する新たな思考経路コントラスト学習手法についても紹介する。
  論文  参考訳（メタデータ） (2024-09-22T15:44:43Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• General Purpose Verification for Chain of Thought Prompting [16.381123651223763]
  大規模言語モデル(LLM)の推論能力を改善する方法について検討する。 我々は、モデルが推論中に従うべき3つの一般的な原則を提案する。 これらの制約をLLMが生成する推論ステップに適用し、最終生成の精度を向上させる。
  論文  参考訳（メタデータ） (2024-04-30T21:15:17Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.16250115608604]
  本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
  論文  参考訳（メタデータ） (2022-09-20T07:04:24Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Does entity abstraction help generative Transformers reason? [8.159805544989359]
  本稿では,事前学習したトランスフォーマーにエンティティ型抽象化を組み込むことの有用性について検討する。 論理的推論の異なる4つのNLPタスクに対して,これらの手法を検証した。
  論文  参考訳（メタデータ） (2022-01-05T19:00:53Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
  学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。 新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。 ARTデータセットの実験は、公開リーダボードの最先端に到達します。
  論文  参考訳（メタデータ） (2020-05-22T15:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。