論文の概要: Unveiling Divergent Inductive Biases of LLMs on Temporal Data

• arxiv url: http://arxiv.org/abs/2404.01453v1
• Date: Mon, 1 Apr 2024 19:56:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 20:37:09.851973
• Title: Unveiling Divergent Inductive Biases of LLMs on Temporal Data
• Title（参考訳）: 経時的データに基づくLDMの多様性誘導ビアーゼの解明
• Authors: Sindhu Kishore, Hangfeng He,
• Abstract要約: 本研究は、時間データ解析におけるGPT-3.5およびGPT-4モデルの性能評価に焦点をあてる。 特定の時間的関係に対する偏見が明らかになり、GPT-3.5は暗黙的イベントと明示的イベントの両方のQAフォーマットで「AFTER」を優先する一方、GPT-4は「BEFORE」に傾いている。
• 参考スコア（独自算出の注目度）: 4.561800294155325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unraveling the intricate details of events in natural language necessitates a subtle understanding of temporal dynamics. Despite the adeptness of Large Language Models (LLMs) in discerning patterns and relationships from data, their inherent comprehension of temporal dynamics remains a formidable challenge. This research meticulously explores these intrinsic challenges within LLMs, with a specific emphasis on evaluating the performance of GPT-3.5 and GPT-4 models in the analysis of temporal data. Employing two distinct prompt types, namely Question Answering (QA) format and Textual Entailment (TE) format, our analysis probes into both implicit and explicit events. The findings underscore noteworthy trends, revealing disparities in the performance of GPT-3.5 and GPT-4. Notably, biases toward specific temporal relationships come to light, with GPT-3.5 demonstrating a preference for "AFTER'' in the QA format for both implicit and explicit events, while GPT-4 leans towards "BEFORE''. Furthermore, a consistent pattern surfaces wherein GPT-3.5 tends towards "TRUE'', and GPT-4 exhibits a preference for "FALSE'' in the TE format for both implicit and explicit events. This persistent discrepancy between GPT-3.5 and GPT-4 in handling temporal data highlights the intricate nature of inductive bias in LLMs, suggesting that the evolution of these models may not merely mitigate bias but may introduce new layers of complexity.
• Abstract（参考訳）: 自然言語における事象の複雑な詳細を明らかにするには、時間力学の微妙な理解が必要である。 大きな言語モデル(LLM)がデータからパターンや関係を識別する上で有効であるにもかかわらず、その時間的ダイナミクスの固有の理解は、依然として恐ろしい課題である。 本研究は, 時間データ解析において, GPT-3.5 モデルと GPT-4 モデルの性能評価に特に重点を置いて, LLM におけるこれらの本質的な課題を慎重に検討する。 質問応答(QA)形式とテクスチャ・エンターメント(TE)形式という,2つの異なるプロンプト型を用いて,暗黙的かつ明示的なイベントを探索する。 その結果, GPT-3.5 と GPT-4 の差がみられた。 特に、特定の時間的関係に対する偏見が明らかになり、GPT-3.5は暗黙のイベントと明示的なイベントの両方に対して「AFTER」を優先する一方、GPT-4は「BEFORE」に傾いている。 さらに、GPT-3.5は「TRUE」に傾向があり、GPT-4は暗黙のイベントと明示的なイベントの両方に対してTEフォーマットで「FALSE」を優先している。 この時間データ処理におけるGPT-3.5とGPT-4の相違は、LLMにおける誘導バイアスの複雑な性質を強調し、これらのモデルの進化が単にバイアスを軽減するだけでなく、新しい複雑さの層を導入する可能性があることを示唆している。

関連論文リスト

• Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
  大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。 本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。 GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
  論文  参考訳（メタデータ） (2024-07-05T12:30:02Z)
• An Empirical Analysis on Large Language Models in Debate Evaluation [10.677407097411768]
  GPT-3.5 や GPT-4 のような先進大言語モデル (LLM) の機能と固有バイアスを議論評価の文脈で検討する。 GPT-3.5 と GPT-4 の両者に一貫した偏りがみられた。 また, GPT-3.5 および GPT-4 の語彙バイアスも明らかにした。
  論文  参考訳（メタデータ） (2024-05-28T18:34:53Z)
• LM4OPT: Unveiling the Potential of Large Language Models in Formulating Mathematical Optimization Problems [0.0]
  本研究は, GPT-3.5, GPT-4, Llama-2-7bを含む著名な大規模言語モデルをゼロショットおよびワンショット設定で比較した。 以上の結果から,GPT-4は特にワンショットシナリオにおいて優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-02T23:32:33Z)
• Behind the Screen: Investigating ChatGPT's Dark Personality Traits and Conspiracy Beliefs [0.0]
  本稿では, GPT-3.5 と GPT-4 の暗黒性格特性と陰謀信念を分析した。 ダークパーソナリティの特徴と陰謀の信念はどちらのモデルでも特に強調されなかった。
  論文  参考訳（メタデータ） (2024-02-06T16:03:57Z)
• A negation detection assessment of GPTs: analysis with the xNot360 dataset [9.165119034384027]
  否定は自然言語の基本的側面であり、コミュニケーションと理解において重要な役割を果たす。 我々は,xNot360データセットに適用したゼロショット予測手法を用いて,自然言語における否定の識別に焦点を当てた。 GPT-4はGPT-3.5を上回り,GPT-3.5は顕著な性能低下を示した。
  論文  参考訳（メタデータ） (2023-06-29T02:27:48Z)
• Exploring the Trade-Offs: Unified Large Language Models vs Local Fine-Tuned Models for Highly-Specific Radiology NLI Task [49.50140712943701]
  NLIタスクにおけるChatGPT/GPT-4の性能評価を行い、タスク関連データサンプルに特化して微調整された他のモデルと比較する。 また,ChatGPT/GPT-4の推論能力について,様々な推論難易度を導入して総合的な調査を行った。
  論文  参考訳（メタデータ） (2023-04-18T17:21:48Z)
• How Robust is GPT-3.5 to Predecessors? A Comprehensive Study on Language Understanding Tasks [65.7949334650854]
  GPT-3.5モデルは様々な自然言語処理(NLP)タスクで顕著な性能を示した。 しかし、オープン世界の様々な複雑さに対処する堅牢性や能力はまだ検討されていない。 GPT-3.5は、不安定性、迅速な感度、数値感度など、いくつかの具体的な堅牢性課題に直面している。
  論文  参考訳（メタデータ） (2023-03-01T07:39:01Z)
• Generic Temporal Reasoning with Differential Analysis and Explanation [61.96034987217583]
  時間差分解析でギャップを埋めるTODAYという新しいタスクを導入する。 TODAYは、システムがインクリメンタルな変化の効果を正しく理解できるかどうかを評価する。 共同学習においてTODAYの指導スタイルと説明アノテーションが有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T17:40:03Z)
• Prompting GPT-3 To Be Reliable [117.23966502293796]
  この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。 GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T14:52:39Z)
• News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
  GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。 我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
  論文  参考訳（メタデータ） (2022-09-26T01:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。