論文の概要: How Far Can We Extract Diverse Perspectives from Large Language Models?
- arxiv url: http://arxiv.org/abs/2311.09799v2
- Date: Sun, 18 Feb 2024 09:50:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 04:45:51.710302
- Title: How Far Can We Extract Diverse Perspectives from Large Language Models?
- Title(参考訳): 大規模言語モデルからどこまで様々な視点を抽出できるか?
- Authors: Shirley Anugrah Hayati, Minhwa Lee, Dheeraj Rajagopal, Dongyeop Kang
- Abstract要約: 主観的トピックに対する多様な視点を生み出すための大規模言語モデルの能力について検討する。
本研究は, 人間の価値観を生かし, 評価基準に基づくプロンプト手法を提案する。
LLMはタスク主観性の度合いに応じて多様な意見を生成することができる。
- 参考スコア(独自算出の注目度): 17.66104821305835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Collecting diverse human opinions is costly and challenging. This leads to a
recent trend in collaborative efforts between humans and Large Language Models
(LLMs) for generating diverse data, offering potential scalable and efficient
solutions. However, the extent of LLMs' capability to generate diverse
perspectives on subjective topics remains an unexplored question. In this
study, we investigate LLMs' capacity for generating diverse perspectives and
rationales on subjective topics, such as social norms and argumentative texts.
We formulate a new problem of maximum diversity extraction from LLMs. Motivated
by how humans develop their opinions through their values, we propose a
criteria-based prompting technique to ground diverse opinions. To see how far
we can extract diverse perspectives from LLMs, or called diversity coverage, we
employ a step-by-step recall prompting for generating more outputs from the
model in an iterative manner. As we apply our methods to various tasks, indeed
we find that LLMs can generate diverse opinions according to the degree of task
subjectivity
- Abstract(参考訳): 多様な人間の意見を集めるのは費用がかかり難い。
これは、さまざまなデータを生成し、潜在的にスケーラブルで効率的なソリューションを提供するために、人間と大規模言語モデル(LLM)の協調作業の最近の傾向につながります。
しかしながら、主観的話題に対する多様な視点を生み出すllmsの能力は、未解決の疑問である。
本研究では,社会規範や論証文などの主観的話題に多様な視点と理性をもたらすLLMの能力について検討する。
LLMから最大多様性抽出の新しい問題を定式化する。
本研究は, 人間の価値観を生かし, 多様な意見の基盤となる基準に基づく促進手法を提案する。
LLMからどの程度多様な視点を抽出できるか、あるいは多様性カバレッジと呼ばれるかを調べるため、反復的な方法でモデルからより多くの出力を生成するためにステップバイステップのリコールプロンプトを採用している。
様々なタスクにメソッドを適用すると、実際にLLMはタスク主観性の度合いに応じて多様な意見を生成できることがわかった。
関連論文リスト
- LLMs Meet Multimodal Generation and Editing: A Survey [89.76691959033323]
本調査では,画像,ビデオ,3D,オーディオなど,さまざまな領域にわたるマルチモーダル生成と編集について詳述する。
これらの分野でのマイルストーンの成果を要約し、これらの研究をLLM法とCLIP/T5法に分類する。
我々は、既存の生成モデルを人間とコンピュータの相互作用に活用できるツール強化マルチモーダルエージェントを掘り下げる。
論文 参考訳(メタデータ) (2024-05-29T17:59:20Z) - A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers [48.314619377988436]
LLM(Large Language Models)の急速な開発は、自然言語処理における顕著な多言語機能を示している。
LLMのブレークスルーにもかかわらず、多言語シナリオの研究は依然として不十分である。
本調査は,多言語問題に対する研究コミュニティの取り組みを支援することを目的としており,LLMに基づく多言語自然言語処理における中核概念,鍵技術,最新の発展の包括的理解を提供する。
論文 参考訳(メタデータ) (2024-05-17T17:47:39Z) - A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias [5.104497013562654]
本稿では,MLLMの進化,鍵技術,多言語能力について概説する。
我々は、MLLMのトレーニングや下流タスクに適した多言語データセットに広く利用されている多言語コーパスについて検討する。
本稿では,MLLMのカテゴリと評価指標を含むバイアスについて論じ,既存のデバイアス手法を要約する。
論文 参考訳(メタデータ) (2024-04-01T05:13:56Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。
17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。
その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
論文 参考訳(メタデータ) (2023-11-16T09:50:53Z) - On the steerability of large language models toward data-driven personas [98.9138902560793]
大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。
本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T19:01:13Z) - Improving Diversity of Demographic Representation in Large Language
Models via Collective-Critiques and Self-Voting [19.79214899011072]
本稿では,生成的大言語モデルにおける表現の多様性を形式化する。
評価データセットを提示し、人や文化軸に沿って生成された反応の多様性を測定する指標を提案する。
LLMは多様性の概念を理解し、その目標に対して自身の反応を推論し、批判することができる。
論文 参考訳(メタデータ) (2023-10-25T10:17:17Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - Large Language Models as Superpositions of Cultural Perspectives [25.114678091641935]
大きな言語モデル(LLM)は、しばしば個性や値の集合を持つものとして誤解を招く。
LLMは、異なる価値観と性格特性を持つ視点の重ね合わせとみなすことができる。
論文 参考訳(メタデータ) (2023-07-15T19:04:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。