論文の概要: Is artificial intelligence still intelligence? LLMs generalize to novel adjective-noun pairs, but don't mimic the full human distribution

• arxiv url: http://arxiv.org/abs/2410.17482v1
• Date: Wed, 23 Oct 2024 00:05:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:56:25.063756
• Title: Is artificial intelligence still intelligence? LLMs generalize to novel adjective-noun pairs, but don't mimic the full human distribution
• Title（参考訳）: 人工知能はまだ人工知能なのか? LLMは、新しい形容詞と名詞のペアに一般化するが、完全な人間の分布を模倣しない
• Authors: Hayley Ross, Kathryn Davidson, Najoung Kim,
• Abstract要約: 人工知能はまだ知性があるのか?」といった推論は、LLMが意味と構成の一般化能力を理解するための良いテストベッドを提供する。 我々は, LLM の範囲を調査し, 最大のモデルでは, 文脈によって推測が決定されたときに, 人間の様の推論を描画できることを見出した。
• 参考スコア（独自算出の注目度）: 9.30694340695458
• License:
• Abstract: Inferences from adjective-noun combinations like "Is artificial intelligence still intelligence?" provide a good test bed for LLMs' understanding of meaning and compositional generalization capability, since there are many combinations which are novel to both humans and LLMs but nevertheless elicit convergent human judgments. We study a range of LLMs and find that the largest models we tested are able to draw human-like inferences when the inference is determined by context and can generalize to unseen adjective-noun combinations. We also propose three methods to evaluate LLMs on these inferences out of context, where there is a distribution of human-like answers rather than a single correct answer. We find that LLMs show a human-like distribution on at most 75\% of our dataset, which is promising but still leaves room for improvement.
• Abstract（参考訳）: 人工知能はまだ知性があるのか?」のような形容詞と名詞の組み合わせからの推論は、LLMが人間とLLMの両方に新しいものが多いが、それでも人間の判断が収束しているため、LLMが意味と構成的一般化能力を理解するための良いテストベッドを提供する。 実験を行った最大のモデルは、文脈によって推論が決定されるときに人間のような推論を描き、目に見えない形容詞と名詞の組み合わせに一般化できることがわかった。 また,これらの推測に基づいてLLMを評価する3つの手法を提案する。 LLMは、私たちのデータセットの75%以上で人間のような分布を示しており、将来性はあるものの、改善の余地は残っています。

関連論文リスト

• No Such Thing as a General Learner: Language models and their dual optimization [3.2228025627337864]
  我々は、人間もLLMも、様々な意味で一般の学習者ではないと論じている。 言語に対する人間の認知バイアスの重要性について,LLMのパフォーマンスが人間と類似しているか異同であるかは,重要な議論を軽視するものではないと論じる。
  論文  参考訳（メタデータ） (2024-08-18T17:01:42Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
  本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。 我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
  論文  参考訳（メタデータ） (2024-01-31T18:48:20Z)
• Human-Instruction-Free LLM Self-Alignment with Limited Samples [64.69906311787055]
  本研究では,人間の関与なしに,大規模言語モデル(LLM)を反復的に自己調整するアルゴリズムを提案する。 既存の研究と異なり、我々のアルゴリズムは人造指示にも報酬にも依存せず、人間の関与を著しく減らしている。 提案手法は,LLMの自己一般化能力を解き明かし,ほぼゼロに近い人的監督と整合性を持たせることができることを示す。
  論文  参考訳（メタデータ） (2024-01-06T14:00:12Z)
• Evidence of interrelated cognitive-like capabilities in large language models: Indications of artificial general intelligence or achievement? [0.0]
  大規模言語モデル (LLM) は、人工知能(AI)システムであり、人間の知能テストで一般的に見られる様々なタスクを実行できる。 また,テストスコアが正の相関を示すかどうかを検討した。 正の多様体と能力の一般因子の強い経験的証拠を発見した。
  論文  参考訳（メタデータ） (2023-10-17T22:42:12Z)
• Brain in a Vat: On Missing Pieces Towards Artificial General Intelligence in Large Language Models [83.63242931107638]
  本稿では,知的エージェントの4つの特徴について述べる。 実世界の物体との活発な関わりは、概念的表現を形成するためのより堅牢な信号をもたらすと我々は主張する。 我々は、人工知能分野における将来的な研究の方向性を概説して結論付ける。
  論文  参考訳（メタデータ） (2023-07-07T13:58:16Z)
• Can Large Language Models Capture Dissenting Human Voices? [7.668954669688971]
  大規模言語モデル(LLM)は、幅広いタスクの解決において素晴らしい成果を上げている。 2つの異なる手法を用いてLLM分布の性能とアライメントを評価する。 LLMはNLIタスクを解く能力に限界を示し、同時に人間の不一致分布を捉えないことを示す。
  論文  参考訳（メタデータ） (2023-05-23T07:55:34Z)
• Event knowledge in large language models: the gap between the impossible and the unlikely [46.540380831486125]
  我々は,事前学習された大規模言語モデル (LLM) がイベント知識を持つことを示す。 彼らはほぼ常に、不可能な事象に対して高い確率を割り当てる。 しかし、おそらくは起こりそうもない出来事に対して、一貫性のない選好を示す。
  論文  参考訳（メタデータ） (2022-12-02T23:43:18Z)
• Large Language Models and the Reverse Turing Test [0.0]
  LLMのインテリジェンスに見えるのは、実際にインタビュアーのインテリジェンスを反映したミラーかもしれない。 LLMがより能力を持つようになると、情報へのアクセスと利用の方法を変えるかもしれません。
  論文  参考訳（メタデータ） (2022-07-28T21:22:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。