Fugu-MT 論文翻訳(概要): Designing Domain-Specific Large Language Models: The Critical Role of Fine-Tuning in Public Opinion Simulation

論文の概要: Designing Domain-Specific Large Language Models: The Critical Role of Fine-Tuning in Public Opinion Simulation

arxiv url: http://arxiv.org/abs/2409.19308v1
Date: Sat, 28 Sep 2024 10:39:23 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 23:58:48.314389
Title: Designing Domain-Specific Large Language Models: The Critical Role of Fine-Tuning in Public Opinion Simulation
Title（参考訳）: ドメイン特有な大規模言語モデルの設計--パブリックオピニオンシミュレーションにおけるファインチューニングの役割
Authors: Haocheng Lin,
Abstract要約: 本稿では,英国家庭縦断調査のデータを用いて,大規模言語モデル(LLM)を微調整する手法を提案する。多様な合成プロファイルをエミュレートすることで、微調整されたモデルは、事前訓練されたバージョンよりも効果的な人口集団間の微妙な差異を捉える。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) have transformed natural language processing across diverse fields, yet their general-purpose design limits their effectiveness in specialized domains, such as simulating opinions on environmental policies. This paper presents an approach for fine-tuning LLMs using data from the UK Household Longitudinal Study, improving the accuracy of opinion generation by conditioning models on socio-demographic factors like age, income, education, and region. By emulating diverse synthetic profiles, fine-tuned models capture the subtle differences across demographic groups more effectively than pre-trained versions. Metrics such as Chi-Squared, Cosine Similarity, Jaccard Index, and KL-divergence, demonstrate a strong alignment between synthetic and real-world opinion data. This approach highlights the potential of fine-tuning LLMs to provide more informed, representative, and ethical insights into public sentiments on environmental issues. The findings underscore the importance of tailoring LLMs to specific societal contexts for more accurate and ethical policy simulations.
Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な分野にわたる自然言語処理を変革してきたが、その汎用設計は、環境政策に関する意見をシミュレートするなど、専門分野におけるその有効性を制限している。本稿では、英国家庭縦断調査のデータを用いた微調整LDMのアプローチを提案し、年齢、収入、教育、地域といった社会デコグラフィー要因の条件付けモデルにより、意見生成の精度を向上させる。多様な合成プロファイルをエミュレートすることで、微調整されたモデルは、事前訓練されたバージョンよりも効果的な人口集団間の微妙な差異を捉える。 Chi-Squared、Cosine similarity、Jaccard Index、KL-divergenceなどのメトリクスは、合成世論データと実世界の世論データの間に強い整合性を示す。このアプローチは、環境問題に対する公衆の感情をより情報的、代表的、倫理的な洞察を提供するための微調整LDMの可能性を強調している。この結果は、より正確で倫理的な政策シミュレーションのために、特定の社会的文脈にLLMを合わせることの重要性を浮き彫りにした。

関連論文リスト

Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
因果表現学習を大規模言語モデルと統合する枠組みを提案する。このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
論文参考訳（メタデータ） (2024-10-25T18:36:37Z)
Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
論文参考訳（メタデータ） (2024-10-24T04:02:30Z)
GLEE: A Unified Framework and Benchmark for Language-based Economic Environments [19.366120861935105]
大規模言語モデル(LLM)は、経済的および戦略的相互作用において大きな可能性を示す。これらの疑問は、LLMベースのエージェントを実世界のデータ駆動システムに統合することの経済的および社会的意味について重要なものとなっている。本稿では,2プレイヤー,シーケンシャル,言語ベースのゲームの研究を標準化するためのベンチマークを紹介する。
論文参考訳（メタデータ） (2024-10-07T17:55:35Z)
LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
論文参考訳（メタデータ） (2024-06-24T03:36:29Z)
A Survey on Human Preference Learning for Large Language Models [81.41868485811625]
近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
論文参考訳（メタデータ） (2024-06-17T03:52:51Z)
Understanding Intrinsic Socioeconomic Biases in Large Language Models [4.276697874428501]
本稿では,社会経済的バイアスを定量化するために,100万の英語文からなる新しいデータセットを提案する。以上の結果から,GPT-2のような確立されたモデルと,Llama 2やFalconのような最先端のモデルの両方において,社会経済的バイアスが広範にあることが明らかとなった。
論文参考訳（メタデータ） (2024-05-28T23:54:44Z)
PoliTune: Analyzing the Impact of Data Selection and Fine-Tuning on Economic and Political Biases in Large Language Models [1.1704154007740835]
大規模言語モデル(LLM)における微調整とデータ選択が経済的・政治的バイアスに与える影響について検討する。特定のイデオロギーとLLMの整合性を検討するための微調整手法であるPoliTuneを紹介した。我々は、データセットの選択、アノテーション、DPO(Direct Preference Optimization)のための選好データセットの合成にオープンソースのLlama3-70Bを使用する体系的手法を導入し、そのモデルと所定の政治的イデオロギーを整合させる。
論文参考訳（メタデータ） (2024-04-10T16:30:09Z)
Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
論文参考訳（メタデータ） (2024-03-14T08:18:59Z)
From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
論文参考訳（メタデータ） (2024-01-23T16:09:53Z)
An Interdisciplinary Outlook on Large Language Models for Scientific Research [3.4108358650013573]
本稿では,異なる学問分野におけるLarge Language Models(LLM)の機能と制約について述べる。本稿では, LLM が学術調査の強化を図り, 大量の出版物を要約することで, 文献レビューの促進などの具体的な事例を提示する。 LLMが直面する課題には、広範囲で偏見のあるデータセットへの依存や、それらの使用から生じる潜在的な倫理的ジレンマが含まれる。
論文参考訳（メタデータ） (2023-11-03T19:41:09Z)
Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。