論文の概要: Why Does ChatGPT "Delve" So Much? Exploring the Sources of Lexical Overrepresentation in Large Language Models

• arxiv url: http://arxiv.org/abs/2412.11385v1
• Date: Mon, 16 Dec 2024 02:27:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:02:50.922485
• Title: Why Does ChatGPT "Delve" So Much? Exploring the Sources of Lexical Overrepresentation in Large Language Models
• Title（参考訳）: なぜChatGPTはそんなに「助かる」のか? 大規模言語モデルにおける語彙過剰表現の源泉を探る
• Authors: Tom S. Juzek, Zina B. Ward,
• Abstract要約: 科学者による大規模言語モデル(LLM)の使用が言語変化の原因であると広く考えられている。 我々は,これらの言語変化を特徴付ける形式的,伝達可能な方法を開発した。 LLM の使用により,科学的な抽象概念の出現が増加する21の焦点単語が検出された。 ヒトのフィードバックからの強化学習が焦点単語の過剰使用に寄与するかどうかを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Scientific English is currently undergoing rapid change, with words like "delve," "intricate," and "underscore" appearing far more frequently than just a few years ago. It is widely assumed that scientists' use of large language models (LLMs) is responsible for such trends. We develop a formal, transferable method to characterize these linguistic changes. Application of our method yields 21 focal words whose increased occurrence in scientific abstracts is likely the result of LLM usage. We then pose "the puzzle of lexical overrepresentation": WHY are such words overused by LLMs? We fail to find evidence that lexical overrepresentation is caused by model architecture, algorithm choices, or training data. To assess whether reinforcement learning from human feedback (RLHF) contributes to the overuse of focal words, we undertake comparative model testing and conduct an exploratory online study. While the model testing is consistent with RLHF playing a role, our experimental results suggest that participants may be reacting differently to "delve" than to other focal words. With LLMs quickly becoming a driver of global language change, investigating these potential sources of lexical overrepresentation is important. We note that while insights into the workings of LLMs are within reach, a lack of transparency surrounding model development remains an obstacle to such research.
• Abstract（参考訳）: 科学英語は現在急速に変化しており、"delve"、"intricate"、"underscore"といった単語は数年前よりずっと頻繁に現れる。 科学者による大規模言語モデル(LLM)の使用がこのような傾向の原因であると広く推測されている。 我々は,これらの言語変化を特徴付ける形式的,伝達可能な方法を開発した。 本手法の応用は, LLM の使用により, 科学的な抽象概念の出現が増大する21種類の局所的な単語を出力する。 次に「語彙過剰表現のパズル」を呈示する:なぜそのような単語はLLMによって過剰に使われているのか? 語彙的過剰表現がモデルアーキテクチャ、アルゴリズムの選択、トレーニングデータによって引き起こされるという証拠は見つからない。 人的フィードバック(RLHF)からの強化学習が焦点単語の過剰使用に寄与するかどうかを評価するため,比較モデルテストを実施し,探索的なオンライン研究を行う。 モデルテストはRLHFが果たす役割と一致しているが, 実験結果から, 参加者は他の焦点単語と異なる反応を示す可能性が示唆された。 LLMは急速にグローバルな言語変化の原動力となり、これらの語彙過剰表現の潜在的な源を探究することが重要である。 LLMの動作に関する洞察は手の届くところにあるが、モデル開発を取り巻く透明性の欠如は、そのような研究の障害である。

関連論文リスト

• Why do LLaVA Vision-Language Models Reply to Images in English? [15.727116803057633]
  一般的なマルチモーダル視覚言語モデル(VLM)で発生する驚くべき多言語バイアスを明らかにする。 LLaVAスタイルのVLMにクエリに画像を含めると、クエリの言語に関係なく、そのモデルが英語の応答を返す可能性が著しく高くなる。
  論文  参考訳（メタデータ） (2024-07-02T15:01:55Z)
• Delving into ChatGPT usage in academic writing through excess vocabulary [4.58733012283457]
  ChatGPTのような大きな言語モデル(LLM)は、人間レベルのパフォーマンスでテキストを生成し、修正することができる。 我々は2010年から2024年にかけての1400万のPubMed抽象語の語彙変化について検討し、LLMの出現がある種の単語の出現頻度の急激な増加につながったことを示す。 我々は,LLMが,コビッドパンデミックなどの世界大イベントの影響を超越して,科学文献に前例のない影響を与えていることを示す。
  論文  参考訳（メタデータ） (2024-06-11T07:16:34Z)
• Chaos with Keywords: Exposing Large Language Models Sycophantic Hallucination to Misleading Keywords and Evaluating Defense Strategies [47.92996085976817]
  本研究では,Large Language Models (LLMs) の梅毒傾向について検討する。 LLMは、たとえ完全に正しくなくても、ユーザが聞きたいものと一致した回答を提供する傾向があります。
  論文  参考訳（メタデータ） (2024-06-06T08:03:05Z)
• Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
  大規模言語モデル(LLM)の時代における意味表現の役割について検討する。 本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。 AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
  論文  参考訳（メタデータ） (2024-05-02T17:32:59Z)
• When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
  本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。 具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。 FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
  論文  参考訳（メタデータ） (2024-02-16T22:12:53Z)
• Beware of Words: Evaluating the Lexical Diversity of Conversational LLMs using ChatGPT as Case Study [3.0059120458540383]
  対話型大言語モデル(LLM)が生成するテキストの語彙的リッチ性の評価と,それがモデルパラメータにどのように依存するかを検討する。 その結果、語彙豊かさがChatGPTのバージョンと、そのパラメータのいくつか、例えば存在ペナルティやモデルに割り当てられた役割にどのように依存しているかが示される。
  論文  参考訳（メタデータ） (2024-02-11T13:41:17Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Human Behavioral Benchmarking: Numeric Magnitude Comparison Effects in Large Language Models [4.412336603162406]
  大規模言語モデル(LLM)は、テキストで広まる数値を差分表現しない。 本研究では,LLMが行動レンズからどれだけの数の数値を捉えているかを検討する。
  論文  参考訳（メタデータ） (2023-05-18T07:50:44Z)
• Probing Across Time: What Does RoBERTa Know and When? [70.20775905353794]
  言語知識は、ドメイン間で高速、安定、そして堅牢に獲得されることを示す。 事実と常識はより遅く、ドメインに敏感です。 クロスタイム探索は、これらのモデルが生み出す複雑で混ざった学習を理解するのに役立ち、必要な学習を迅速に行うためのより効率的なアプローチへと導いてくれると信じています。
  論文  参考訳（メタデータ） (2021-04-16T04:26:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。