論文の概要: Can We Count on LLMs? The Fixed-Effect Fallacy and Claims of GPT-4 Capabilities

• arxiv url: http://arxiv.org/abs/2409.07638v1
• Date: Wed, 11 Sep 2024 21:48:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 18:21:43.815092
• Title: Can We Count on LLMs? The Fixed-Effect Fallacy and Claims of GPT-4 Capabilities
• Title（参考訳）: LLMは有効か? : GPT-4能力の固定効力低下と主張
• Authors: Thomas Ball, Shuo Chen, Cormac Herley,
• Abstract要約: いくつかの決定論的タスクにおけるGPT-4の性能の測定について述べる。 タスク・プロンプトや入力集団における一見自明な修正は、サンプリング効果によって説明できるよりもはるかに大きな差をもたらすことが判明した。
• 参考スコア（独自算出の注目度）: 8.1022073999821
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we explore evaluation of LLM capabilities. We present measurements of GPT-4 performance on several deterministic tasks; each task involves a basic calculation and takes as input parameter some element drawn from a large well-defined population (e.g., count elements in a list, multiply two k-digit numbers, etc). We examine several conditions per-task and perform enough trials so that statistically significant differences can be detected. This allows us to investigate the sensitivity of task-accuracy both to query phrasing and input parameter population. We find that seemingly trivial modifications in the task-prompt or input population can yield differences far larger than can be explained by sampling effects. For example, performance on a simple list-counting task varies with query-phrasing and list-length, but also with list composition (i.e., the thing-to-be-counted) and object frequency (e.g., success when an element accounts for $\approx$ 50\% of a list is different from when it accounts for $\approx$ 70\% etc). We conclude that efforts to quantify LLM capabilities easily succumb to the language-as-fixed-effect fallacy, where experimental observations are improperly generalized beyond what the data supports. A consequence appears to be that intuitions that have been formed based on interactions with humans form a very unreliable guide as to which input modifications should ``make no difference'' to LLM performance.
• Abstract（参考訳）: 本稿では,LLMの性能評価について検討する。 本稿では,複数の決定論的タスクにおいてGPT-4の性能の測定を行う。各タスクは基本計算を伴い,大集団から引き出された要素(例えば,リスト内の要素数,2桁のk桁数など)を入力パラメータとして扱う。 本研究では,タスクごとのいくつかの条件を調査し,統計的に有意な差異を検出するために十分な試行を行う。 これにより,質問文と入力パラメータ群を問合せするタスク精度の感度を調べることができる。 タスク・プロンプトや入力集団における一見自明な修正は、サンプリング効果によって説明できるよりもはるかに大きな差をもたらすことが判明した。 例えば、単純なリストカウントタスクのパフォーマンスは、クエリのフレーズやリストの長さによって異なるが、リストの構成(例えば、to-be-counted)やオブジェクトの頻度(例えば、$\approx$ 50\%の要素が$\approx$ 70\%の要素を持つ場合の成功など)も異なる。 我々は,LLMの能力の定量化に向けた取り組みは,実験的な観察が不適切にデータをサポートする範囲を超えて一般化される言語・アズ・ア・エフェクト・フェース・フェース・フェース・フェース・フェース・フェース・フェース・フェース・アセス(Language-as-ef fallacy)に容易に結びつくと結論付けた。 結果として、人間との相互作用に基づいて形成された直感は、LLMのパフォーマンスに対して入力の修正が '`make no difference'' すべきという非常に信頼できないガイドを形成しているように思われる。

関連論文リスト

• What Did I Do Wrong? Quantifying LLMs' Sensitivity and Consistency to Prompt Engineering [8.019873464066308]
  分類タスク,すなわち感度と一貫性の2つの指標を導入する。 感度はプロンプトの 言い換えによる予測の変化を測る その代わり、一貫性は、同じクラスの要素の言い換えで予測がどのように変化するかを測定する。
  論文  参考訳（メタデータ） (2024-06-18T06:59:24Z)
• Prompt Design Matters for Computational Social Science Tasks but in Unpredictable Ways [3.779027297957693]
  我々は,迅速な設計が社会科学アノテーションの遵守と正確性に与える影響を検証した。 以上の結果から,LSMのコンプライアンスと精度は極めて素早い依存性があることが示唆された。 この研究は、研究者や実践者の警告と実践のガイドとして機能する。
  論文  参考訳（メタデータ） (2024-06-17T18:01:43Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• RankPrompt: Step-by-Step Comparisons Make Language Models Better Reasoners [38.30539869264287]
  大きな言語モデル(LLM)は、様々な推論タスクで素晴らしいパフォーマンスを実現しています。 しかし、ChatGPTのような最先端のLCMでさえ、推論プロセス中に論理的な誤りを犯しやすい。 新たなプロンプト手法である RankPrompt を導入し,LLM が追加リソースを必要とせずに応答を自己ランクできる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-19T02:34:18Z)
• Not All Layers of LLMs Are Necessary During Inference [68.88671495401483]
  いくつかのタスクにおいて、Large Language Modelsはいくつかの中間層での最終的な出力に匹敵する結果が得られることを示す。 本稿では,入力インスタンスの推論処理を適応的に終了するアルゴリズムAdaInferを提案する。
  論文  参考訳（メタデータ） (2024-03-04T16:23:58Z)
• Can LLMs perform structured graph reasoning? [4.676784872259775]
  LLM(Pretrained Large Language Models)は、言語ベースのプロンプトだけで様々な推論能力を示す。 本稿では,半構造化タスクのプロキシとして,様々なグラフ推論タスクを設計する。 上記の課題に対して,5種類のインストラクト微細化LDM (GPT-4, GPT-3.5, Claude-2, Llama-2, Palm-2) をベンチマークした。
  論文  参考訳（メタデータ） (2024-02-02T09:45:33Z)
• Evaluating Gender Bias in Large Language Models via Chain-of-Thought Prompting [87.30837365008931]
  CoT(Chain-of-Thought)プロンプトを備えた大規模言語モデル(LLM)は、計算不能なタスクでも正確なインクリメンタルな予測を行うことができる。 本研究では,LLMのステップバイステップ予測が性差に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2024-01-28T06:50:10Z)
• PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion [96.47420221442397]
  我々はPowerPoint Task Completionベンチマークを導入し、大規模言語モデルがマルチターン・マルチモーダル命令を完了する能力を評価する。 また,ラベルAPIシーケンスではなく,予測ファイルに基づいてLCMが命令を終了するかどうかを評価するPTX-Match評価システムを提案する。 その結果、GPT-4はシングルターン対話テストにおいて75.1%の精度で他のLLMよりも優れていたが、セッション全体を完成させる際の課題に直面しており、セッションの精度は6%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-11-03T08:06:35Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
  ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか? LLMの事実知識を評価する統計的手法であるKaRRを提案する。 この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T18:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。