論文の概要: Benchmarking Distributional Alignment of Large Language Models

• arxiv url: http://arxiv.org/abs/2411.05403v1
• Date: Fri, 08 Nov 2024 08:41:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:55:44.767325
• Title: Benchmarking Distributional Alignment of Large Language Models
• Title（参考訳）: 大規模言語モデルの分布アライメントのベンチマーク
• Authors: Nicole Meister, Carlos Guestrin, Tatsunori Hashimoto,
• Abstract要約: 言語モデル(LM)は、人々のシミュラクラ(simulacra)として使われることが多いが、特定の人口集団の視点の分布と一致する能力は、いまだに不明である。 我々は、政治的価値を超えて拡張されたデータセットを構築し、このタスクのための人間のベースラインを作成し、LMが特定のグループの意見分布とどの程度一致できるかを評価する。 本分析により, ALMが人体をシミュレートするかどうか, どのように利用できるか, およびLCMがそのような分布をシミュレートするよりも, より正確に意見分布を記述できるのかが明らかとなった。
• 参考スコア（独自算出の注目度）: 43.0198231524816
• License:
• Abstract: Language models (LMs) are increasingly used as simulacra for people, yet their ability to match the distribution of views of a specific demographic group and be \textit{distributionally aligned} remains uncertain. This notion of distributional alignment is complex, as there is significant variation in the types of attributes that are simulated. Prior works have underexplored the role of three critical variables -- the question domain, steering method, and distribution expression method -- which motivates our contribution of a benchmark explicitly addressing these dimensions. We construct a dataset expanding beyond political values, create human baselines for this task, and evaluate the extent to which an LM can align with a particular group's opinion distribution to inform design choices of such simulation systems. Our analysis reveals open problems regarding if, and how, LMs can be used to simulate humans, and that LLMs can more accurately describe the opinion distribution than simulate such distributions.
• Abstract（参考訳）: 言語モデル(LM)は、人々のシミュラクラ(simulacra)として使われることが多いが、特定の人口集団のビューの分布に一致し、‘textit{distributionally aligned’となる能力は、いまだに不確実である。 この分布アライメントの概念は、シミュレートされる属性のタイプに顕著なバリエーションがあるため、複雑である。 以前の研究では、3つの重要な変数 – 質問領域、ステアリングメソッド、分散表現メソッド – の役割を過小評価しており、これらの次元に明示的に対処するベンチマークの貢献を動機付けています。 我々は、政治的価値を超えて拡張されたデータセットを構築し、このタスクのための人的ベースラインを作成し、LMが特定のグループの意見分布と整合し、そのようなシミュレーションシステムの設計選択を通知できる範囲を評価する。 本分析により, ALMが人体をシミュレートするかどうか, どのように利用できるか, およびLCMがそのような分布をシミュレートするよりも, より正確に意見分布を記述できるのかが明らかとなった。

関連論文リスト

• View From Above: A Framework for Evaluating Distribution Shifts in Model Behavior [0.9043709769827437]
  大規模言語モデル(LLM)は特定のタスクを実行するよう要求される。 彼らの学習した表現が現実とどのように一致しているか。 分散シフトを体系的に評価するためのドメインに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-01T04:07:49Z)
• What Are the Odds? Language Models Are Capable of Probabilistic Reasoning [23.487484744911995]
  本稿では,言語モデル(LM)の確率論的推論能力を,理想化および実世界の統計分布を用いて評価することに集中する。 本研究では,パーセンタイルの推定,サンプルの描画,確率の計算という3つのタスクにおいて,最先端のLMの体系的評価を行う。
  論文  参考訳（メタデータ） (2024-06-18T17:51:24Z)
• Generative Assignment Flows for Representing and Learning Joint Distributions of Discrete Data [2.6499018693213316]
  本稿では,多数の離散確率変数の結合確率分布を表現するための新しい生成モデルを提案する。 全ての離散な関節分布のメタ・プレプレックスにおけるセグレ写像による流れの埋め込みは、任意の対象分布を原理的に表すことができることを保証している。 我々のアプローチは、結合された離散変数のモデリングの第一原理から強い動機を持っている。
  論文  参考訳（メタデータ） (2024-06-06T21:58:33Z)
• Do LLMs Play Dice? Exploring Probability Distribution Sampling in Large Language Models for Behavioral Simulation [73.58618024960968]
  人間のシーケンシャルな意思決定過程をエミュレートするエージェントとして、大きな言語モデル(LLM)を採用する研究が増えている。 このことは、確率分布を理解するためにLLMエージェントの容量に関する好奇心を喚起する。 分析の結果, LLM エージェントは確率を理解できるが, 確率サンプリングに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-04-13T16:59:28Z)
• A Distributional Analogue to the Successor Representation [54.99439648059807]
  本稿では,分散強化学習のための新しい手法を提案する。 学習プロセスにおける遷移構造と報酬のクリーンな分離を解明する。 実例として,ゼロショットリスクに敏感な政策評価が可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-13T15:35:24Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Wrapped Distributions on homogeneous Riemannian manifolds [58.720142291102135]
  パラメータ、対称性、モダリティなどの分布の性質の制御は、フレキシブルな分布の族を生み出す。 変動型オートエンコーダと潜在空間ネットワークモデル内で提案した分布を利用して,我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2022-04-20T21:25:21Z)
• Goal-oriented adaptive sampling under random field modelling of response probability distributions [0.6445605125467573]
  応答分布の空間的変動がそれらの平均および/または分散だけでなく、例えば、形状や一様性、多様性などを含む他の特徴も考慮する。 我々の貢献は、それによって引き起こされる確率分布の場をモデル化する非パラメトリックベイズアプローチに基づいている。
  論文  参考訳（メタデータ） (2021-02-15T15:55:23Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。