論文の概要: Can Language Models perform Abductive Commonsense Reasoning?
- arxiv url: http://arxiv.org/abs/2207.05155v1
- Date: Thu, 7 Jul 2022 15:52:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-17 16:14:38.933470
- Title: Can Language Models perform Abductive Commonsense Reasoning?
- Title(参考訳): 言語モデルはアブダプティブ・コモンセンス推論を実行できるか?
- Authors: Seungone Kim
- Abstract要約: 帰納的推論(英: Abductive Reasoning)は、一連の観測から最も妥当な仮説を推測するタスクである。
この問題に対処する最もよく知られたベンチマークは、aNLIとaNLGである。
私は、この問題を解決するために試みられた方法論をレビューし、ベースラインモデルを再実装し、現在のアプローチが持つ弱点を分析します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Abductive Reasoning is a task of inferring the most plausible hypothesis
given a set of observations. In literature, the community has approached to
solve this challenge by classifying/generating a likely hypothesis that does
not contradict with a past observation and future observation. Some of the most
well-known benchmarks that tackle this problem are aNLI and aNLG (pronounced as
alpha-NLI and alpha-NLG). In this report, I review over some of the
methodologies that were attempted to solve this challenge, re-implement the
baseline models, and analyze some of the weaknesses that current approaches
have. The code and the re-implemented results are available at this link.
- Abstract(参考訳): 帰納的推論(英: Abductive Reasoning)は、一連の観測から最も妥当な仮説を推測するタスクである。
文献では、過去の観察や将来の観察と矛盾しない可能性のある仮説を分類・生成することで、この課題を解決するためにコミュニティがアプローチしている。
この問題に対処する最もよく知られているベンチマークは、aNLIとaNLG(α-NLIとα-NLGと発音する)である。
この報告では、この課題を解決しようとした方法論のいくつかをレビューし、ベースラインモデルを再実装し、現在のアプローチが抱える弱点を分析します。
コードと再実装された結果はこのリンクで確認できる。
関連論文リスト
- Mitigating Reversal Curse via Semantic-aware Permutation Training [61.216062411246064]
我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。
逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。
この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
論文 参考訳(メタデータ) (2024-03-01T18:55:20Z) - Sentiment Analysis through LLM Negotiations [58.67939611291001]
感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。
本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-03T12:35:29Z) - Reward Engineering for Generating Semi-structured Explanation [11.49422399721136]
半構造化された説明は、明示的な表現を持つ推論者の暗黙の過程を描いている。
この説明は、特定のクエリで利用可能な情報がどのように利用され、その内部重みから回答を生成するための情報で補足されるかを強調している。
言語モデルの生成能力は近年改善されているが、モデルの真の推論能力を検証する構造的な説明を生成することは依然として課題である。
論文 参考訳(メタデータ) (2023-09-15T12:10:03Z) - Question Decomposition Improves the Faithfulness of Model-Generated
Reasoning [23.34325378824462]
大規模言語モデル(LLM)は、その振る舞いの正しさと安全性を検証するのが困難である。
一つのアプローチは、LLMが質問に答えるときにステップバイステップの推論を生成することによって、彼らの推論を外部化するように促すことである。
このアプローチは、モデルの実的推論を忠実に反映する記述された推論に依存しており、必ずしもそうではない。
分解に基づく手法は、時にはCoTの手法に近づき、質問応答タスクにおいて高い性能を達成する。
論文 参考訳(メタデータ) (2023-07-17T00:54:10Z) - Faithfulness Tests for Natural Language Explanations [87.01093277918599]
ニューラルモデルの説明は、その予測のためのモデルの意思決定プロセスを明らかにすることを目的としている。
近年の研究では,サリエンシマップやファクトファクトファクトダクトなどの説明を行う手法が誤解を招く可能性があることが示されている。
本研究は,自然言語の説明の忠実さを評価する上での課題について考察する。
論文 参考訳(メタデータ) (2023-05-29T11:40:37Z) - Not All Metrics Are Guilty: Improving NLG Evaluation with LLM
Paraphrasing [92.17776245159622]
Para-Refは、参照数を増やして評価ベンチマークを強化する新しい方法である。
我々は,大規模言語モデル(LLM)を用いて,単一の参照を多種多様な表現で複数の高品質なものに表現する。
提案手法は, 自動評価値16の相関を+7.82%の比率で効果的に改善することができる。
論文 参考訳(メタデータ) (2023-05-24T11:53:29Z) - Dialectical language model evaluation: An initial appraisal of the
commonsense spatial reasoning abilities of LLMs [10.453404263936335]
本稿では,コモンセンス推論のための言語モデルの弁証的評価について検討する。
この種の評価の目標は、集合的なパフォーマンス値を得るのではなく、失敗を見つけ、システムのバウンダリをマップすることにある。
本稿では,空間的推論の特定の場合に対して,このような評価を定性的に検討する。
論文 参考訳(メタデータ) (2023-04-22T06:28:46Z) - Shortcomings of Question Answering Based Factuality Frameworks for Error
Localization [51.01957350348377]
質問応答(QA)に基づく事実性指標は、生成した要約の誤り範囲を正しく識別できないことを示す。
このようなローカライゼーションが不十分な理由として,QGモジュールが生成した質問は,非実数的な要約から誤りを継承することが多く,さらに下流モジュールに伝播する。
本実験は,より強力なQAモデルとQGモデルでのみ修正できないQAフレームワークを用いた局所化に関する根本的な問題が存在することを確定的に示す。
論文 参考訳(メタデータ) (2022-10-13T05:23:38Z) - L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。
新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。
ARTデータセットの実験は、公開リーダボードの最先端に到達します。
論文 参考訳(メタデータ) (2020-05-22T15:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。