論文の概要: One fish, two fish, but not the whole sea: Alignment reduces language models' conceptual diversity

• arxiv url: http://arxiv.org/abs/2411.04427v2
• Date: Tue, 12 Nov 2024 20:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 12:31:38.025818
• Title: One fish, two fish, but not the whole sea: Alignment reduces language models' conceptual diversity
• Title（参考訳）: 魚1匹、魚2匹、海全体ではない:アライメントは言語モデルの概念的多様性を減少させる
• Authors: Sonia K. Murthy, Tomer Ullman, Jennifer Hu,
• Abstract要約: 研究者は大規模言語モデル(LLM)を人間の行動研究の代替として使用することを提案した。 トレーニング後のアライメント(RLHFまたはRLAIF)がモデルの内部多様性に影響を及ぼすかどうかが議論されている。 我々は、シミュレーションされた個体の内部変動と集団レベルの変動を関連づけることで、合成合成LLMの「人口」の概念的多様性を測定する新しい方法を用いる。
• 参考スコア（独自算出の注目度）: 2.5975241792179378
• License:
• Abstract: Researchers in social science and psychology have recently proposed using large language models (LLMs) as replacements for humans in behavioral research. In addition to arguments about whether LLMs accurately capture population-level patterns, this has raised questions about whether LLMs capture human-like conceptual diversity. Separately, it is debated whether post-training alignment (RLHF or RLAIF) affects models' internal diversity. Inspired by human studies, we use a new way of measuring the conceptual diversity of synthetically-generated LLM "populations" by relating the internal variability of simulated individuals to the population-level variability. We use this approach to evaluate non-aligned and aligned LLMs on two domains with rich human behavioral data. While no model reaches human-like diversity, aligned models generally display less diversity than their instruction fine-tuned counterparts. Our findings highlight potential trade-offs between increasing models' value alignment and decreasing the diversity of their conceptual representations.
• Abstract（参考訳）: 社会科学と心理学の研究者は、行動研究において、人間の代用として大きな言語モデル(LLM)を用いた提案を行っている。 LLMが人口レベルのパターンを正確に捉えているかどうかの議論に加えて、LLMが人間のような概念的多様性を捉えているかどうかという疑問も提起されている。 個別に、後トレーニングアライメント(RLHFまたはRLAIF)がモデルの内部多様性に影響を及ぼすかどうかについて議論する。 人間の研究にインスパイアされた我々は、シミュレーションされた個体の内部変動と集団レベルの変動を関連づけることで、合成合成LLMの「人口」の概念的多様性を測定する新しい方法を用いている。 我々はこの手法を用いて、リッチな人間の行動データを持つ2つの領域における非整列および整列LSMを評価する。 人間のような多様性に到達するモデルはないが、アライメントされたモデルは一般的に、微調整された命令よりも多様性が低い。 本研究は,モデルの価値アライメントの増大と概念表現の多様性の低下との潜在的なトレードオフを明らかにする。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Virtual Personas for Language Models via an Anthology of Backstories [5.2112564466740245]
  アンソロジー(アンソロジー、Anthology)は、オープン・エンド・ライフ・ナラティブを利用して、大きな言語モデルを特定のバーチャル・ペルソナに調和させる手法である。 本手法は,実験結果の一貫性と信頼性を高めつつ,多様なサブ集団のより良い表現を確実にすることを示す。
  論文  参考訳（メタデータ） (2024-07-09T06:11:18Z)
• High-Dimension Human Value Representation in Large Language Models [60.33033114185092]
  大規模言語モデル(LLM)における人的価値分布の高次元表現であるUniVaRを提案する。 我々は,UniVaRが,異なるLLMに埋め込まれた人間の値と異なる言語源との分布を比較する強力なツールであることを示す。
  論文  参考訳（メタデータ） (2024-04-11T16:39:00Z)
• Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
  人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。 本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
  論文  参考訳（メタデータ） (2024-03-17T07:08:55Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Improving Diversity of Demographic Representation in Large Language Models via Collective-Critiques and Self-Voting [19.79214899011072]
  本稿では,生成的大言語モデルにおける表現の多様性を形式化する。 評価データセットを提示し、人や文化軸に沿って生成された反応の多様性を測定する指標を提案する。 LLMは多様性の概念を理解し、その目標に対して自身の反応を推論し、批判することができる。
  論文  参考訳（メタデータ） (2023-10-25T10:17:17Z)
• Exploring the psychology of LLMs' Moral and Legal Reasoning [0.0]
  大規模言語モデル(LLM)は、さまざまな領域にわたるタスクにおいて、専門家レベルのパフォーマンスを示す。 LLMによって提起された倫理的問題と将来のバージョンを整合させる必要性は、アートモデルの現状が道徳的および法的問題にどのように影響するかを知ることが重要である。 我々は,Google の Gemini Pro や Anthropic の Claude 2.1,OpenAI の GPT-4,Meta の Llama 2 Chat 70b を例に,実験文献から8つの研究結果を再現した。 ある実験から別の実験へと人間の反応の一致が変化し、モデルが全体として異なることがわかりました。
  論文  参考訳（メタデータ） (2023-08-02T16:36:58Z)
• Large Language Models as Superpositions of Cultural Perspectives [25.114678091641935]
  大きな言語モデル(LLM)は、しばしば個性や値の集合を持つものとして誤解を招く。 LLMは、異なる価値観と性格特性を持つ視点の重ね合わせとみなすことができる。
  論文  参考訳（メタデータ） (2023-07-15T19:04:33Z)
• Source-free Domain Adaptation Requires Penalized Diversity [60.04618512479438]
  ソースデータがない場合、異なるドメイン間の知識伝達に対処するために、ソースフリードメイン適応(SFDA)が導入された。 教師なしのFDAでは、多様性はソース上の1つの仮説を学習するか、共有された特徴抽出器で複数の仮説を学習することに限定される。 本稿では,異なる特徴抽出器を用いて表現多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-06T00:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。