論文の概要: Evidence from counterfactual tasks supports emergent analogical reasoning in large language models

• arxiv url: http://arxiv.org/abs/2404.13070v1
• Date: Sun, 14 Apr 2024 21:51:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-28 11:16:37.588687
• Title: Evidence from counterfactual tasks supports emergent analogical reasoning in large language models
• Title（参考訳）: 大規模言語モデルにおける創発的類似推論を支援する対実的タスクからのエビデンス
• Authors: Taylor Webb, Keith J. Holyoak, Hongjing Lu,
• Abstract要約: 大規模な言語モデルでは、ゼロショット方式で幅広いテキストベースの類似問題を解くことができるという証拠を報告する。 最近の2つの注釈は、アルファベットの標準配列が任意に置換されるいわゆる反事実的タスクの証拠を引用して、これらの結果に異議を唱えている。 ここでは、これらの批判に回答し、本研究で使用した試験材料に関する誤解を明らかにし、言語モデルがこれらの新しい対実的タスク変種に一般化できることを示す。
• 参考スコア（独自算出の注目度）: 3.9189409002585562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We recently reported evidence that large language models are capable of solving a wide range of text-based analogy problems in a zero-shot manner, indicating the presence of an emergent capacity for analogical reasoning. Two recent commentaries have challenged these results, citing evidence from so-called `counterfactual' tasks in which the standard sequence of the alphabet is arbitrarily permuted so as to decrease similarity with materials that may have been present in the language model's training data. Here, we reply to these critiques, clarifying some misunderstandings about the test materials used in our original work, and presenting evidence that language models are also capable of generalizing to these new counterfactual task variants.
• Abstract（参考訳）: 我々は最近,大規模言語モデルがゼロショット方式で幅広いテキストベースの類似問題を解くことができることを示す証拠を報告し,類推のための創発的能力の存在を示唆した。 最近の2つのコメンテータは、言語モデルのトレーニングデータに存在したかもしれない材料との類似性を減少させるために、アルファベットの標準配列が任意に置換されたいわゆる「偽物」タスクの証拠を引用して、これらの結果に異議を唱えている。 ここでは、これらの批判に回答し、本研究で使用した試験材料に関する誤解を明らかにし、言語モデルがこれらの新しい対実的タスク変種に一般化できることを示す。

関連論文リスト

• modeLing: A Novel Dataset for Testing Linguistic Reasoning in Language Models [23.105555180223487]
  modeLingはLinguistics Olympiadスタイルのパズルの新しいベンチマークで、AIシステムで数発の推論をテストする。 我々は,大規模なオープンソース言語モデルとGPTをベンチマークで評価した。
  論文  参考訳（メタデータ） (2024-06-24T18:00:59Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Ask Again, Then Fail: Large Language Models' Vacillations in Judgment [28.74246375289661]
  我々は、現在の会話言語モデルが、フォローアップされた質問に直面すると、判断を揺るがすことが多いことを観察する。 我々は、この矛盾を定量化するための2つの指標とともに、textscFollow-up Questioning Mechanismを紹介した。 トレーニングベースのフレームワーク TextscUnwavering-FQ を開発した。
  論文  参考訳（メタデータ） (2023-10-03T16:08:41Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
  本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。 実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
  論文  参考訳（メタデータ） (2022-01-28T02:33:07Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Empowering Language Understanding with Counterfactual Reasoning [141.48592718583245]
  本稿では,反現実的思考を模倣した反現実的推論モデルを提案する。 特に,各実例に対して代表的対実サンプルを生成する生成モジュールを考案し,その対実サンプルと実例サンプルを比較してモデル予測を振り返るレトロスペクティブモジュールを考案した。
  論文  参考訳（メタデータ） (2021-06-06T06:36:52Z)
• Overestimation of Syntactic Representationin Neural Language Models [16.765097098482286]
  構文構造を誘導するモデルの能力を決定する一般的な方法の1つは、テンプレートに従って生成された文字列上でモデルを訓練し、それらの文字列と表面的に類似した文字列を異なる構文で区別するモデルの能力をテストすることである。 本稿では,2つの非シンタクティックなベースライン言語モデルを用いた最近の論文の肯定的な結果を再現することで,このアプローチの根本的な問題を説明する。
  論文  参考訳（メタデータ） (2020-04-10T15:13:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。