論文の概要: Poor Alignment and Steerability of Large Language Models: Evidence from College Admission Essays

• arxiv url: http://arxiv.org/abs/2503.20062v1
• Date: Tue, 25 Mar 2025 20:54:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:21:04.847773
• Title: Poor Alignment and Steerability of Large Language Models: Evidence from College Admission Essays
• Title（参考訳）: 大規模言語モデルのアライメントと安定性の低下--大学入学調査から
• Authors: Jinsook Lee, AJ Alvero, Thorsten Joachims, René Kizilcec,
• Abstract要約: 本研究では,大規模言語モデル (LLM) を高文脈で使用することを検討した。 両タイプのLCMエッセイは,人間によるエッセイとは言語的に異なることがわかった。 人口統計学的に誘発され、未発達の合成テキストは、人間のテキストよりも互いに類似していた。
• 参考スコア（独自算出の注目度）: 19.405531377930977
• License:
• Abstract: People are increasingly using technologies equipped with large language models (LLM) to write texts for formal communication, which raises two important questions at the intersection of technology and society: Who do LLMs write like (model alignment); and can LLMs be prompted to change who they write like (model steerability). We investigate these questions in the high-stakes context of undergraduate admissions at a selective university by comparing lexical and sentence variation between essays written by 30,000 applicants to two types of LLM-generated essays: one prompted with only the essay question used by the human applicants; and another with additional demographic information about each applicant. We consistently find that both types of LLM-generated essays are linguistically distinct from human-authored essays, regardless of the specific model and analytical approach. Further, prompting a specific sociodemographic identity is remarkably ineffective in aligning the model with the linguistic patterns observed in human writing from this identity group. This holds along the key dimensions of sex, race, first-generation status, and geographic location. The demographically prompted and unprompted synthetic texts were also more similar to each other than to the human text, meaning that prompting did not alleviate homogenization. These issues of model alignment and steerability in current LLMs raise concerns about the use of LLMs in high-stakes contexts.
• Abstract（参考訳）: 人々は、大きな言語モデル(LLM)を備えた技術を使って、フォーマルなコミュニケーションのためのテキストを書くことで、テクノロジと社会の交差点で2つの重要な疑問を提起している。 本研究では,3万件の応募者が書いたエッセイとLLM生成エッセイの語彙的・文的差異を,人間の応募者が使用するエッセイのみを駆使したエッセイと,各応募者に関する人口統計学的情報とで比較することにより,選択大学における学部受験者の高い文脈でこれらの課題を考察する。 LLMの生成したエッセイは、特定のモデルや分析的アプローチによらず、言語的に人間によるエッセイとは区別されている。 さらに、特定の社会デマトグラフィー的アイデンティティーの促進は、このアイデンティティーグループから人文で観察される言語パターンとモデルを一致させるのに著しく効果がない。 これは性別、人種、第一世代の地位、地理的位置といった重要な次元に沿っている。 人口統計学的に誘発され、未発生の合成テキストは、ヒトのテキストよりも互いに類似しており、それによって均質化が緩和されることはなかった。 現在のLLMにおけるモデルアライメントとステアビリティの問題は、LLMを高い文脈で使用することに対する懸念を提起している。

関連論文リスト

• Mind the Gap! Choice Independence in Using Multilingual LLMs for Persuasive Co-Writing Tasks in Different Languages [51.96666324242191]
  チャリティー広告作成タスクにおける新規筆記アシスタントのユーザ利用が、第2言語におけるAIの性能に影響を及ぼすかどうかを分析する。 我々は、これらのパターンが、生成したチャリティー広告の説得力に変換される程度を定量化する。
  論文  参考訳（メタデータ） (2025-02-13T17:49:30Z)
• Embracing AI in Education: Understanding the Surge in Large Language Model Use by Secondary Students [53.20318273452059]
  OpenAIのChatGPTのような大規模言語モデル(LLM)は、新しい教育の道を開いた。 学校制限にもかかわらず,中高生300人以上を対象に調査を行ったところ,学生の70%がLDMを利用していることがわかった。 我々は、対象特化モデル、パーソナライズドラーニング、AI教室など、このような問題に対処するいくつかのアイデアを提案する。
  論文  参考訳（メタデータ） (2024-11-27T19:19:34Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Do LLMs write like humans? Variation in grammatical and rhetorical styles [0.7852714805965528]
  大規模言語モデル(LLM)の修辞形式について検討する。 ダグラス・ビーバーの語彙的・文法的・修辞的特徴セットを用いて, LLMと人間との系統的差異を同定した。 このことは、高度な能力にもかかわらず、LLMは人間のスタイルに合うのに苦労していることを示している。
  論文  参考訳（メタデータ） (2024-10-21T15:35:44Z)
• Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
  Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。 分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。 我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
  論文  参考訳（メタデータ） (2024-07-02T14:02:53Z)
• Inclusivity in Large Language Models: Personality Traits and Gender Bias in Scientific Abstracts [49.97673761305336]
  我々は,3つの大きな言語モデル (LLM) を,人間の物語スタイルと潜在的な性別バイアスに適合させることで評価した。 以上の結果から,これらのモデルは一般的にヒトの投稿内容によく似たテキストを生成するが,スタイル的特徴の変化は有意な性差を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-06-27T19:26:11Z)
• White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs [58.27353205269664]
  社会的偏見は言語機関に現れることがある。 本稿では,言語庁バイアス評価ベンチマークを紹介する。 我々は,最近の3つのLarge Language Model(LLM)生成コンテンツにおいて,言語エージェンシーの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Can Large Language Models Automatically Score Proficiency of Written Essays? [3.993602109661159]
  大規模言語モデル(LLMs)は、様々なタスクにおいて異常な能力を示すトランスフォーマーベースのモデルである。 我々は,LLMの強力な言語知識を活かして,エッセイを分析し,効果的に評価する能力をテストする。
  論文  参考訳（メタデータ） (2024-03-10T09:39:00Z)
• Queer People are People First: Deconstructing Sexual Identity Stereotypes in Large Language Models [3.974379576408554]
  大規模言語モデル(LLM)は、主に最小処理のWebテキストに基づいて訓練される。 LLMはLGBTQIA+コミュニティのような、疎外されたグループに対して必然的にステレオタイプを永続させることができる。
  論文  参考訳（メタデータ） (2023-06-30T19:39:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。