論文の概要: Auxiliary task demands mask the capabilities of smaller language models

• arxiv url: http://arxiv.org/abs/2404.02418v1
• Date: Wed, 3 Apr 2024 02:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 18:49:24.869650
• Title: Auxiliary task demands mask the capabilities of smaller language models
• Title（参考訳）: 補助的なタスク要求は、より小さな言語モデルの能力を隠蔽する
• Authors: Jennifer Hu, Michael C. Frank,
• Abstract要約: タスク要求が大きい評価手法は、要求の少ない評価よりも性能が低いことを示す。 この結果から,LM性能はインテリジェンスの直接的な表示として解釈するべきではないことが示唆された。
• 参考スコア（独自算出の注目度）: 2.938889003635811
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developmental psychologists have argued about when cognitive capacities such as language understanding or theory of mind emerge. These debates often hinge on the concept of "task demands" -- the auxiliary challenges associated with performing a particular evaluation -- that may mask the child's underlying ability. The same issues arise when measuring the capacities of language models (LMs): performance on a task is a function of the model's underlying competence, combined with the model's ability to interpret and perform the task given its available resources. Here, we show that for analogical reasoning, reflective reasoning, word prediction, and grammaticality judgments, evaluation methods with greater task demands yield lower performance than evaluations with reduced demands. This "demand gap" is most pronounced for models with fewer parameters and less training data. Our results illustrate that LM performance should not be interpreted as a direct indication of intelligence (or lack thereof), but as a reflection of capacities seen through the lens of researchers' design choices.
• Abstract（参考訳）: 発達心理学者は、言語理解や心の理論のような認知能力がいつ出現するかを論じてきた。 これらの議論は、子供の根底にある能力を隠蔽する「タスク要求」(特定の評価を行う際の補助的な課題)という概念にしばしば根ざしている。 言語モデル(LM)の能力を測定する際にも同様の問題が発生する: タスクのパフォーマンスはモデルの基本能力の関数であり、モデルが利用可能なリソースを考慮すればそのタスクを解釈し実行することができる。 ここでは, 類似推論, 反射的推論, 単語予測, 文法的判断に対して, タスク要求が大きい評価手法は, 要求の少ない評価よりも性能が低いことを示す。 この"オンデマンドギャップ"は、パラメータが少なく、トレーニングデータが少ないモデルでは最も顕著です。 この結果から,LM性能はインテリジェンスの直接的な表示(あるいは欠如)ではなく,研究者の設計選択のレンズを通して見る能力の反映として解釈されるべきであることが示唆された。

関連論文リスト

• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
  我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。 SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
  論文  参考訳（メタデータ） (2023-10-27T06:48:48Z)
• Evaluating the Deductive Competence of Large Language Models [0.2218292673050528]
  本稿では,いくつかの大規模言語モデル (LLM) が,古典的な帰納的推論問題を解くことができるかどうかを考察する。 性能は条件によって異なるが、全体的な性能は改善されない。 人的パフォーマンスとは違って,プレゼンテーション形式やコンテンツとのインタラクションが予期せぬ形で行われていることが判明した。
  論文  参考訳（メタデータ） (2023-09-11T13:47:07Z)
• Are Emergent Abilities in Large Language Models just In-Context Learning? [46.561464069450444]
  創発的能力を説明する新しい理論を提示する。 以上の結果から,創発能力は真に創発的ではなく,文脈内学習,モデル記憶,言語知識の組み合わせによるものであることが示唆された。
  論文  参考訳（メタデータ） (2023-09-04T20:54:11Z)
• A Sentence is Worth a Thousand Pictures: Can Large Language Models Understand Hum4n L4ngu4ge and the W0rld behind W0rds? [2.7342737448775534]
  LLM(Large Language Models)は、人間の言語的パフォーマンスに関する主張と関連付けられている。 対象認知システムの理論的に有意な表現としてLLMの寄与を分析する。 我々は,より高い処理レベルからのトップダウンフィードバックを通じて,モデルが全体像を見る能力を評価する。
  論文  参考訳（メタデータ） (2023-07-26T18:58:53Z)
• Reasoning or Reciting? Exploring the Capabilities and Limitations of Language Models Through Counterfactual Tasks [71.19560970717495]
  最近の言語モデルは、幅広いタスクで印象的なパフォーマンスを示している。 これらのスキルは一般的で、移行可能か、あるいは事前トレーニング中に見られる特定のタスクに特化していますか? 本稿では,標準タスクの既定前提から逸脱する「数値的」タスク変種に基づく評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-05T17:50:42Z)
• Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in Large Language Models [82.50173296858377]
  多くの逸話例は、ChatGPTやGPT-4のような新しい大規模言語モデル(LLM)が、N-ToM(Neural Theory-of-Mind)を示すことを示唆するために使用された。 我々は,LLMsのN-ToMの範囲を6つのタスクに対して広範囲に評価することにより検討し,LLMsが特定のN-ToM能力を示す一方で,この挙動は堅牢性には程遠いことを見出した。
  論文  参考訳（メタデータ） (2023-05-24T06:14:31Z)
• Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
  AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。 我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。 AMPLIFYは,幅広いタスクに対して約10～25%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-05-19T04:46:04Z)
• Define, Evaluate, and Improve Task-Oriented Cognitive Capabilities for Instruction Generation Models [5.975913042883176]
  最近の研究は、人間のために設計された心理学的テストを通して言語モデルの認知能力を研究する。 我々は、言語モデルがタスクを実行するために利用する人間のような認知能力であるタスク指向認知能力を定式化する。
  論文  参考訳（メタデータ） (2022-12-21T04:43:19Z)
• oLMpics -- On what Language Model Pre-training Captures [84.60594612120173]
  本研究では,比較,協調,合成などの操作を必要とする8つの推論タスクを提案する。 基本的な課題は、タスク上でのLMのパフォーマンスが、事前訓練された表現やタスクデータの微調整のプロセスに起因すべきかどうかを理解することである。
  論文  参考訳（メタデータ） (2019-12-31T12:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。