論文の概要: SurveyLM: A platform to explore emerging value perspectives in augmented
language models' behaviors
- arxiv url: http://arxiv.org/abs/2308.00521v1
- Date: Tue, 1 Aug 2023 12:59:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 14:13:25.047165
- Title: SurveyLM: A platform to explore emerging value perspectives in augmented
language models' behaviors
- Title(参考訳): surveylm: 拡張言語モデルの振る舞いにおける新たな価値観を探求するプラットフォーム
- Authors: Steve J. Bickley, Ho Fai Chan, Bang Dao, Benno Torgler, Son Tran
- Abstract要約: 本稿では,拡張言語モデル(ALM)の創発的アライメント行動を分析するプラットフォームであるSurveyLMについて述べる。
従来社会行動研究に用いられてきた調査・実験手法を応用し,ALMを体系的に評価する。
我々は,ALMの創発的行動に影響を与える要因に光を当てること,人間の意図や期待との整合性を促進すること,高度社会AIシステムの開発と展開に寄与することを目的としている。
- 参考スコア(独自算出の注目度): 0.4724825031148411
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This white paper presents our work on SurveyLM, a platform for analyzing
augmented language models' (ALMs) emergent alignment behaviors through their
dynamically evolving attitude and value perspectives in complex social
contexts. Social Artificial Intelligence (AI) systems, like ALMs, often
function within nuanced social scenarios where there is no singular correct
response, or where an answer is heavily dependent on contextual factors, thus
necessitating an in-depth understanding of their alignment dynamics. To address
this, we apply survey and experimental methodologies, traditionally used in
studying social behaviors, to evaluate ALMs systematically, thus providing
unprecedented insights into their alignment and emergent behaviors. Moreover,
the SurveyLM platform leverages the ALMs' own feedback to enhance survey and
experiment designs, exploiting an underutilized aspect of ALMs, which
accelerates the development and testing of high-quality survey frameworks while
conserving resources. Through SurveyLM, we aim to shed light on factors
influencing ALMs' emergent behaviors, facilitate their alignment with human
intentions and expectations, and thereby contributed to the responsible
development and deployment of advanced social AI systems. This white paper
underscores the platform's potential to deliver robust results, highlighting
its significance to alignment research and its implications for future social
AI systems.
- Abstract(参考訳): 白書では,複雑な社会的文脈における動的に変化する態度と価値の視点を通して,拡張言語モデル(ALM)の創発的アライメント行動を分析するプラットフォームであるSurveyLMについて述べる。
社会人工知能(AI)システム(ALM)は、特定の正しい応答がない場合や、応答が文脈的要因に大きく依存している場合など、微妙な社会的シナリオの中で機能するため、アライメントのダイナミクスを深く理解する必要がある。
そこで本稿では,従来社会行動研究に用いられてきた調査・実験手法を適用し,ALMを体系的に評価し,アライメントや創発的行動に対する前例のない洞察を与える。
さらに、SurveyLMプラットフォームはALM自身のフィードバックを活用して、調査と実験の設計を強化し、ALMの未使用の側面を活用し、リソースを維持しながら高品質なサーベイフレームワークの開発とテストを促進する。
SurveyLMを通じて、ALMの創発的行動に影響を与える要因を明らかにし、人間の意図や期待との整合を促進し、高度社会AIシステムの開発と展開に寄与することを目指している。
このホワイトペーパーは、プラットフォームが堅牢な結果を提供する可能性を強調し、研究のアライメントと将来のソーシャルAIシステムに対するその意味を強調します。
関連論文リスト
- Wait, It's All Token Noise? Always Has Been: Interpreting LLM Behavior Using Shapley Value [1.223779595809275]
大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。
しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。
本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2024-03-29T22:49:43Z) - SOTOPIA-$π$: Interactive Learning of Socially Intelligent Language Agents [73.35393511272791]
本稿では,対話型学習手法であるSOTOPIA-$pi$を提案する。
この手法は,大規模言語モデル(LLM)の評価に基づいて,フィルタリングされた社会的相互作用データに対する行動クローニングと自己強化トレーニングを活用する。
論文 参考訳(メタデータ) (2024-03-13T17:17:48Z) - Inadequacies of Large Language Model Benchmarks in the Era of Generative
Artificial Intelligence [5.454656183053655]
我々は23の最先端のLarge Language Modelsベンチマークを批判的に評価する。
私たちの研究は、偏見、真の推論を測ることの難しさなど、重大な制限を発見しました。
静的ベンチマークから動的行動プロファイリングへの進化を提唱する。
論文 参考訳(メタデータ) (2024-02-15T11:08:10Z) - Do LLM Agents Exhibit Social Behavior? [6.018288992619851]
本研究では,Large Language Models (LLMs) がいかに社会的相互作用の原理を示すかを検討する。
分析の結果, LLMエージェントは, 多様な社会的行動を示すことが示唆された。
LLMは明らかに公正な好みを示し、正の相反性は弱く、社会学習において人間に比べてより計算的なアプローチを示す。
論文 参考訳(メタデータ) (2023-12-23T08:46:53Z) - Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology
View [64.43238868957813]
本稿では,理論的洞察を用いた実用実験により,現代NLPシステム間の協調機構を解明する。
我々は, LLMエージェントからなる4つの独特な社会をつくり, それぞれのエージェントは, 特定の特性(容易性, 過信性)によって特徴づけられ, 異なる思考パターン(議論, ふりかえり)と協調する。
以上の結果から, LLMエージェントは, 社会心理学理論を反映した, 適合性やコンセンサスリーディングといった人間的な社会的行動を示すことが明らかとなった。
論文 参考訳(メタデータ) (2023-10-03T15:05:52Z) - Survey of Social Bias in Vision-Language Models [65.44579542312489]
調査の目的は、NLP、CV、VLをまたいだ事前学習モデルにおける社会バイアス研究の類似点と相違点について、研究者に高いレベルの洞察を提供することである。
ここで提示された発見とレコメンデーションはMLコミュニティの利益となり、公平でバイアスのないAIモデルの開発を促進する。
論文 参考訳(メタデータ) (2023-09-24T15:34:56Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Training Socially Aligned Language Models on Simulated Social
Interactions [99.39979111807388]
AIシステムにおける社会的アライメントは、確立された社会的価値に応じてこれらのモデルが振舞うことを保証することを目的としている。
現在の言語モデル(LM)は、トレーニングコーパスを独立して厳格に複製するように訓練されている。
本研究は,シミュレートされた社会的相互作用からLMを学習することのできる,新しい学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-05-26T14:17:36Z) - Interactive Natural Language Processing [67.87925315773924]
対話型自然言語処理(iNLP)は,NLP分野における新しいパラダイムとして登場した。
本稿では,iNLPの概念の統一的定義と枠組みを提案することから,iNLPに関する包括的調査を行う。
論文 参考訳(メタデータ) (2023-05-22T17:18:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。