論文の概要: Language Models of Code are Few-Shot Commonsense Learners

• arxiv url: http://arxiv.org/abs/2210.07128v1
• Date: Thu, 13 Oct 2022 16:09:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 14:21:38.086081
• Title: Language Models of Code are Few-Shot Commonsense Learners
• Title（参考訳）: コードの言語モデルとコモンセンス学習者
• Authors: Aman Madaan, Shuyan Zhou, Uri Alon, Yiming Yang, Graham Neubig
• Abstract要約: 自然言語入力が与えられた場合、目標はイベントや推論グラフなどのグラフを生成することだ。 既存のアプローチは、出力グラフをノードとエッジのフラットリストとしてシリアライズする。 コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、事前学習されたコードLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。
• 参考スコア（独自算出の注目度）: 106.1531522893209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We address the general task of structured commonsense reasoning: given a natural language input, the goal is to generate a graph such as an event -- or a reasoning-graph. To employ large language models (LMs) for this task, existing approaches ``serialize'' the output graph as a flat list of nodes and edges. Although feasible, these serialized graphs strongly deviate from the natural language corpora that LMs were pre-trained on, hindering LMs from generating them correctly. In this paper, we show that when we instead frame structured commonsense reasoning tasks as code generation tasks, pre-trained LMs of code are better structured commonsense reasoners than LMs of natural language, even when the downstream task does not involve source code at all. We demonstrate our approach across three diverse structured commonsense reasoning tasks. In all these natural language tasks, we show that using our approach, a code generation LM (CODEX) outperforms natural-LMs that are fine-tuned on the target task (e.g., T5) and other strong LMs such as GPT-3 in the few-shot setting.
• Abstract（参考訳）: 自然言語入力が与えられた場合、目的はイベントや推論グラフなどのグラフを生成することである。 このタスクに大規模な言語モデル(LM)を採用するため、既存のアプローチでは、ノードとエッジのフラットリストとして出力グラフを‘シリアライズ’する。 これらのシリアライズされたグラフは、LMが事前訓練された自然言語コーパスから強く逸脱し、LMがそれらを正しく生成することを妨げた。 本稿では、コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、ソースコードを全く含まない場合であっても、事前学習されたコードのLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。 我々は3つの多種多様なコモンセンス推論タスクにまたがるアプローチを実証する。 これらすべての自然言語タスクにおいて、コード生成LM(CODEX)は、ターゲットタスク(例えば、T5)に微調整された自然なLMと、数ショット設定でGPT-3などの強力なLMより優れていることを示す。

関連論文リスト

• Augmented Language Models: a Survey [55.965967655575454]
  この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
  論文  参考訳（メタデータ） (2023-02-15T18:25:52Z)
• Translating Natural Language to Planning Goals with Large-Language Models [19.738395237639136]
  近年の大規模言語モデル(LLM)は,様々な自然言語処理(NLP)タスクにおいて顕著な性能を示した。 我々の中心的な問題は、LLMが自然言語で指定された目標を構造化された計画言語に翻訳できるかどうかである。 GPT 3.5 変種に対する実験結果から,LCM は計画よりも翻訳に適していることが示された。
  論文  参考訳（メタデータ） (2023-02-10T09:17:52Z)
• PAL: Program-aided Language Models [112.94785609781503]
  自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。 PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。 私たちは12のベンチマークで新しい最先端の結果を設定しました。
  論文  参考訳（メタデータ） (2022-11-18T18:56:13Z)
• LMPriors: Pre-Trained Language Models as Task-Specific Priors [78.97143833642971]
  適切な事前条件でモデルを拡張するための原則的手法を開発した。 これは、世界に対する私たちの理解と相容れない方法で学ぶことを奨励するものです。 我々は,近年の大規模言語モデル(LM)の成功から着想を得た。
  論文  参考訳（メタデータ） (2022-10-22T19:09:18Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Leveraging the Inductive Bias of Large Language Models for Abstract Textual Reasoning [3.616948583169635]
  GPT-3やT5のような大きな自然言語モデルは、様々な一般的なNLPタスクにおいて印象的な能力を示している。 このようなモデルに埋め込まれた知識は、従来のNLPタスクだけでなく、シンボリック推論エンジンを訓練する非伝統的なタスクにも有用な帰納的バイアスをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-10-05T21:40:46Z)
• oLMpics -- On what Language Model Pre-training Captures [84.60594612120173]
  本研究では,比較,協調,合成などの操作を必要とする8つの推論タスクを提案する。 基本的な課題は、タスク上でのLMのパフォーマンスが、事前訓練された表現やタスクデータの微調整のプロセスに起因すべきかどうかを理解することである。
  論文  参考訳（メタデータ） (2019-12-31T12:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。