論文の概要: L2R2: Leveraging Ranking for Abductive Reasoning
- arxiv url: http://arxiv.org/abs/2005.11223v2
- Date: Tue, 14 Sep 2021 10:59:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 09:35:23.312994
- Title: L2R2: Leveraging Ranking for Abductive Reasoning
- Title（参考訳）: L2R2: 帰納的推論のランク付けを活用
- Authors: Yunchang Zhu, Liang Pang, Yanyan Lan, Xueqi Cheng
- Abstract要約: 学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。
新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。
ARTデータセットの実験は、公開リーダボードの最先端に到達します。
- 参考スコア（独自算出の注目度）: 65.40375542988416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The abductive natural language inference task ($\alpha$NLI) is proposed to
evaluate the abductive reasoning ability of a learning system. In the
$\alpha$NLI task, two observations are given and the most plausible hypothesis
is asked to pick out from the candidates. Existing methods simply formulate it
as a classification problem, thus a cross-entropy log-loss objective is used
during training. However, discriminating true from false does not measure the
plausibility of a hypothesis, for all the hypotheses have a chance to happen,
only the probabilities are different. To fill this gap, we switch to a ranking
perspective that sorts the hypotheses in order of their plausibilities. With
this new perspective, a novel $L2R^2$ approach is proposed under the
learning-to-rank framework. Firstly, training samples are reorganized into a
ranking form, where two observations and their hypotheses are treated as the
query and a set of candidate documents respectively. Then, an ESIM model or
pre-trained language model, e.g. BERT or RoBERTa, is obtained as the scoring
function. Finally, the loss functions for the ranking task can be either
pair-wise or list-wise for training. The experimental results on the ART
dataset reach the state-of-the-art in the public leaderboard.
- Abstract（参考訳）: 学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(「alpha$NLI」)を提案する。
$\alpha$NLIタスクでは、2つの観測結果が与えられ、最も妥当な仮説が候補の中から選択される。
既存の手法は単に分類問題として定式化するため、トレーニング中にクロスエントロピーログロスの目的が使用される。
しかし、真を偽と区別することは仮説の可能性を測るものではなく、全ての仮説が起こりうる可能性を持っているため、確率のみが異なる。
このギャップを埋めるために、それらの確率の順に仮説をソートするランキングの視点に切り替える。
この新しい視点では、新しいl2r^2$アプローチがlearning-to-rankフレームワークの下で提案されている。
まず、トレーニングサンプルをランキング形式に再構成し、2つの観察とそれらの仮説をそれぞれクェリと候補文書の集合として扱う。
そして、スコア関数として、例えばBERTやRoBERTaなどのESIMモデルまたは事前学習言語モデルを得る。
最後に、ランキングタスクの損失関数はペアワイドまたはリストワイドでトレーニングすることができる。
ARTデータセットの実験結果は、公開リーダボードの最先端に到達します。
関連論文リスト
- Graph Stochastic Neural Process for Inductive Few-shot Knowledge Graph Completion [63.68647582680998]
I-FKGC(inductive few-shot knowledge graph completion)と呼ばれる課題に焦点をあてる。
帰納的推論(inductive reasoning)の概念に着想を得て,I-FKGCを帰納的推論問題とした。
本稿では,仮説の連成分布をモデル化したニューラルプロセスに基づく仮説抽出器を提案する。
第2のモジュールでは、この仮説に基づいて、クエリセットのトリプルが抽出された仮説と一致するかどうかをテストするグラフアテンションベースの予測器を提案する。
論文 参考訳（メタデータ） (2024-08-03T13:37:40Z) - Ranking Large Language Models without Ground Truth [24.751931637152524]
大規模言語モデル(LLM)の評価とランキングは,これらのモデルの普及に伴って重要な問題となっている。
我々は、プロンプトのデータセットが与えられた場合、根拠となる真実や参照応答にアクセスせずにそれらをランク付けする、新しい視点を提供する。
この考え方を繰り返し適用し、LLMをランク付けする2つの方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T00:49:43Z) - Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation
of Prediction Rationale [53.152460508207184]
Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。
本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。
最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
論文 参考訳（メタデータ） (2024-02-02T05:53:22Z) - Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。
従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。
パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
論文 参考訳（メタデータ） (2023-09-06T05:19:41Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳（メタデータ） (2022-05-25T03:40:59Z) - Beyond Distributional Hypothesis: Let Language Models Learn Meaning-Text
Correspondence [45.9949173746044]
大規模事前学習言語モデル (PLM) が論理否定特性 (LNP) を満たさないことを示す。
そこで本研究では,意味テキスト対応を直接学習するための新しい中間訓練課題である「意味マッチング」を提案する。
このタスクにより、PLMは語彙意味情報を学習することができる。
論文 参考訳（メタデータ） (2022-05-08T08:37:36Z) - Interactive Model with Structural Loss for Language-based Abductive
Reasoning [36.02450824915494]
帰納的自然言語推論タスク(alpha$NLI)は、原因と事象の間の最も明確な説明を推測するために提案される。
我々はこの新モデルを$alpha$NLI: Interactive Model with Structure Loss (IMSL) と命名する。
IMSL は RoBERTa-large Pretrained model で最高性能を達成し,ACC と AUC はそれぞれ約1%,AUC は5% 向上した。
論文 参考訳（メタデータ） (2021-12-01T05:21:07Z) - Exact Distribution-Free Hypothesis Tests for the Regression Function of
Binary Classification via Conditional Kernel Mean Embeddings [0.0]
条件付きカーネル平均埋め込みに基づく二項分類の回帰関数に対する2つの仮説試験を提案する。
テストは柔軟な方法で導入され、タイプiのエラーの正確な確率を制御できます。
論文 参考訳（メタデータ） (2021-03-08T22:31:23Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳（メタデータ） (2020-04-29T10:54:40Z) - HypoNLI: Exploring the Artificial Patterns of Hypothesis-only Bias in
Natural Language Inference [38.14399396661415]
仮説のみのバイアスの観点から、逆例を導出する。
このような仮説のみのバイアスを軽減するために、人工パターンモデリングを利用する2つのデバイアス手法について検討する。
論文 参考訳（メタデータ） (2020-03-05T16:46:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。