Fugu-MT 論文翻訳(概要): Bottom-Up and Top-Down Analysis of Values, Agendas, and Observations in Corpora and LLMs

論文の概要: Bottom-Up and Top-Down Analysis of Values, Agendas, and Observations in Corpora and LLMs

arxiv url: http://arxiv.org/abs/2411.05040v1
Date: Wed, 06 Nov 2024 18:51:04 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-11 14:55:50.576209
Title: Bottom-Up and Top-Down Analysis of Values, Agendas, and Observations in Corpora and LLMs
Title（参考訳）: ボトムアップとトップダウンによるコーパスとLDMの値・アジェンダ・観測
Authors: Scott E. Friedman, Noam Benkler, Drisana Mosaphir, Jeffrey Rye, Sonja M. Schmer-Galunder, Micah Goldwater, Matthew McLure, Ruta Wheelock, Jeremy Gottlieb, Robert P. Goldman, Christopher Miller,
Abstract要約: 大規模言語モデル (LLM) は、複数の潜在的視点から多様で位置し、説得力のあるテキストを生成する。我々は、安全、正確性、包摂性、文化的忠実さを理由に、彼らが表現する社会文化的価値を特徴づけることを模索する。
参考スコア（独自算出の注目度）: 1.3119775978504942
License:
Abstract: Large language models (LLMs) generate diverse, situated, persuasive texts from a plurality of potential perspectives, influenced heavily by their prompts and training data. As part of LLM adoption, we seek to characterize - and ideally, manage - the socio-cultural values that they express, for reasons of safety, accuracy, inclusion, and cultural fidelity. We present a validated approach to automatically (1) extracting heterogeneous latent value propositions from texts, (2) assessing resonance and conflict of values with texts, and (3) combining these operations to characterize the pluralistic value alignment of human-sourced and LLM-sourced textual data.
Abstract（参考訳）: 大規模言語モデル(LLM)は、複数の潜在的視点から多様で、位置し、説得力のあるテキストを生成し、そのプロンプトとトレーニングデータに大きく影響される。 LLMの採用の一環として、安全、正確性、包摂性、文化的信条の理由から、彼らが表現する社会文化的価値を-そして理想的に-特徴づけることを模索する。本研究では,(1)テキストから不均一な潜在値の命題を抽出し,(2)テキストとの共振と矛盾を評価し,(3)これらの操作を組み合わせることで,人文とLLM資料の多元的価値アライメントを特徴付ける手法を提案する。

関連論文リスト

Value Compass Leaderboard: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
大きな言語モデル(LLM)は目覚ましいブレークスルーを達成し、その価値を人間と一致させることが必須になっている。既存の評価は、バイアスや毒性といった安全性のリスクに焦点を絞っている。既存のベンチマークはデータ汚染の傾向があります。個人や文化にまたがる人的価値の多元的性質は、LLM値アライメントの測定において無視される。
論文参考訳（メタデータ） (2025-01-13T05:53:56Z)
Toward Inclusive Educational AI: Auditing Frontier LLMs through a Multiplexity Lens [1.094065133109559]
本稿では,大規模言語モデル(LLM)における文化的バイアスの評価と緩和のための枠組みを提案する。分析の結果,LLMには文化的偏極が頻繁に見られ,バイアスは過度にも微妙にも現れることがわかった。システムプロンプトに直接多重化原理を組み込む textitContextual-Implemented Multiplex LLM と、複数の LLM エージェントがそれぞれ異なる文化的視点を表現し、バランスよく合成された応答を協調的に生成する textitMulti-Agent System (MAS)-Implemented Multiplex LLM という2つの戦略を提案する。
論文参考訳（メタデータ） (2025-01-02T11:27:08Z)
ValuesRAG: Enhancing Cultural Alignment Through Retrieval-Augmented Contextual Learning [1.1343849658875087]
本研究では,テキスト生成中に文化的・人口的知識を動的に統合するためのValuesRAGを提案する。 ValuesRAGは、メイン実験とアブレーション研究の両方において、ベースライン法よりも一貫して優れている。特に、ValuesRAGは、他のベースライン手法よりも21%の精度で改善されている。
論文参考訳（メタデータ） (2025-01-02T03:26:13Z)
LLM-GLOBE: A Benchmark Evaluating the Cultural Values Embedded in LLM Output [8.435090588116973]
LLMの文化的価値システムを評価するためのLLM-GLOBEベンチマークを提案する。次に、このベンチマークを利用して、中国とアメリカのLLMの値を比較します。提案手法は,オープンエンドコンテンツの評価を自動化する新しい"LLMs-as-a-Jury"パイプラインを含む。
論文参考訳（メタデータ） (2024-11-09T01:38:55Z)
CLAVE: An Adaptive Framework for Evaluating Values of LLM Generated Responses [34.77031649891843]
CLAVEは2つの補完的なLarge Language Model(LLM)を統合する新しいフレームワークである。このデュアルモデルアプローチは、値タイプ当たり100個の人ラベルサンプルを使用して、任意の値システムでキャリブレーションを可能にする。 ValEvalは13k+(text,value,label)12+を多種多様なドメインで構成し、3つの主要なバリューシステムをカバーする包括的データセットである。
論文参考訳（メタデータ） (2024-07-15T13:51:37Z)
Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
論文参考訳（メタデータ） (2024-04-19T09:44:51Z)
CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。 CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
論文参考訳（メタデータ） (2024-04-10T00:25:09Z)
Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文参考訳（メタデータ） (2024-02-16T13:53:26Z)
Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights, and Duties [68.66719970507273]
価値多元性とは、複数の正しい値が互いに緊張して保持されるという考え方である。統計的学習者として、AIシステムはデフォルトで平均に適合する。 ValuePrismは、218kの値、権利、義務の大規模なデータセットで、31kの人間が記述した状況に関連付けられています。
論文参考訳（メタデータ） (2023-09-02T01:24:59Z)
Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
論文参考訳（メタデータ） (2023-05-26T02:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。