論文の概要: Towards Zero-shot Commonsense Reasoning with Self-supervised Refinement
of Language Models
- arxiv url: http://arxiv.org/abs/2109.05105v1
- Date: Fri, 10 Sep 2021 21:02:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-14 15:52:31.982937
- Title: Towards Zero-shot Commonsense Reasoning with Self-supervised Refinement
of Language Models
- Title(参考訳): 言語モデルの自己教師付きリファインメントによるゼロショットコモンセンス推論
- Authors: Tassilo Klein and Moin Nabi
- Abstract要約: 本稿では,Winograd Challengeにおけるゼロショットコモンセンス推論の実現可能性について検討する。
類似概念関係の言語摂動を用いて言語モデルを洗練する,新たな自己教師型学習手法を提案する。
概念的にシンプルなフレームワークの実証分析は、複数のベンチマーク上でゼロショットコモンセンス推論が実現可能であることを示す。
- 参考スコア(独自算出の注目度): 27.11678023496321
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Can we get existing language models and refine them for zero-shot commonsense
reasoning? This paper presents an initial study exploring the feasibility of
zero-shot commonsense reasoning for the Winograd Schema Challenge by
formulating the task as self-supervised refinement of a pre-trained language
model. In contrast to previous studies that rely on fine-tuning annotated
datasets, we seek to boost conceptualization via loss landscape refinement. To
this end, we propose a novel self-supervised learning approach that refines the
language model utilizing a set of linguistic perturbations of similar concept
relationships. Empirical analysis of our conceptually simple framework
demonstrates the viability of zero-shot commonsense reasoning on multiple
benchmarks.
- Abstract(参考訳): 既存の言語モデルを取得して、ゼロショットの常識推論のために洗練できるか?
本稿では,事前学習型言語モデルの自己教師型改良としてタスクを定式化することにより,Winograd Schema Challengeにおけるゼロショットコモンセンス推論の実現可能性について検討する。
微調整アノテートデータセットに依存する従来の研究とは対照的に,ロスランドスケープの改良による概念化の促進を目指す。
そこで本研究では,類似概念関係の言語摂動の集合を用いて言語モデルを洗練する,自己教師型学習手法を提案する。
概念的に単純なフレームワークの実証分析は、複数のベンチマークにおけるゼロショットコモンセンス推論の実行可能性を示している。
関連論文リスト
- One-Shot Open Affordance Learning with Foundation Models [54.15857111929812]
私たちは、モデルがベースオブジェクトカテゴリ毎に1つの例でトレーニングされる、ワンショットのオープンアフォーダンスラーニング(OOAL)を紹介します。
本稿では,視覚的特徴と手頃なテキスト埋め込みとの整合性を高める,シンプルで効果的な設計の視覚言語フレームワークを提案する。
2つのアベイランスセグメンテーションのベンチマーク実験により、提案手法はトレーニングデータの1%未満で最先端のモデルより優れていることが示された。
論文 参考訳(メタデータ) (2023-11-29T16:23:06Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Establishing Trustworthiness: Rethinking Tasks and Model Evaluation [36.329415036660535]
我々は、NLPにおけるタスクとモデル評価を構成するものを再考する時が来たと論じる。
本稿では,モデルの機能的能力の起源を理解するために,既存のコンパートナライズドアプローチについてレビューする。
論文 参考訳(メタデータ) (2023-10-09T06:32:10Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳(メタデータ) (2023-06-04T15:44:51Z) - Improving Factuality and Reasoning in Language Models through Multiagent
Debate [95.10641301155232]
複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。
以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。
我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
論文 参考訳(メタデータ) (2023-05-23T17:55:11Z) - Shattering the Agent-Environment Interface for Fine-Tuning Inclusive
Language Models [24.107358120517336]
本研究では、事前学習された言語モデルが、それ自体がポリシー、報酬関数、遷移関数である、という新しい視点を採用する。
即ち、報酬学習と言語モデルの微調整は、さらに下流のポリシー最適化を必要とせずに、共同で直接行うことができる。
論文 参考訳(メタデータ) (2023-05-19T06:21:15Z) - Dialectical language model evaluation: An initial appraisal of the
commonsense spatial reasoning abilities of LLMs [10.453404263936335]
本稿では,コモンセンス推論のための言語モデルの弁証的評価について検討する。
この種の評価の目標は、集合的なパフォーマンス値を得るのではなく、失敗を見つけ、システムのバウンダリをマップすることにある。
本稿では,空間的推論の特定の場合に対して,このような評価を定性的に検討する。
論文 参考訳(メタデータ) (2023-04-22T06:28:46Z) - Towards explainable evaluation of language models on the semantic
similarity of visual concepts [0.0]
本稿では,視覚語彙の意味的類似性に焦点をあて,ハイパフォーマンスな事前学習言語モデルの振る舞いを考察する。
まず、検索したインスタンスの概念的品質を理解するために必要となる、説明可能な評価指標の必要性に対処する。
第二に、健全なクエリセマンティクスに対する敵対的な介入は、不透明なメトリクスの脆弱性を露呈し、学習された言語表現におけるパターンを強調します。
論文 参考訳(メタデータ) (2022-09-08T11:40:57Z) - Probing via Prompting [71.7904179689271]
本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。
我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。
次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
論文 参考訳(メタデータ) (2022-07-04T22:14:40Z) - Translational Concept Embedding for Generalized Compositional Zero-shot
Learning [73.60639796305415]
一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。
本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
論文 参考訳(メタデータ) (2021-12-20T21:27:51Z) - Critical Thinking for Language Models [6.963299759354333]
本稿では,ニューラル自動回帰言語モデルの批判的思考カリキュラムに向けて第一歩を踏み出す。
我々は、GPT-2を訓練し、評価するために、人工的な議論文を生成する。
NLUベンチマークに対して一貫した有望な結果が得られる。
論文 参考訳(メタデータ) (2020-09-15T15:49:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。