論文の概要: How Far Can We Extract Diverse Perspectives from Large Language Models?
Criteria-Based Diversity Prompting!
- arxiv url: http://arxiv.org/abs/2311.09799v1
- Date: Thu, 16 Nov 2023 11:23:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 14:45:10.783347
- Title: How Far Can We Extract Diverse Perspectives from Large Language Models?
Criteria-Based Diversity Prompting!
- Title(参考訳): 大規模言語モデルからどこまで様々な視点を抽出できるか?
基準に基づくダイバーシティ・プロンプティング!
- Authors: Shirley Anugrah Hayati, Minhwa Lee, Dheeraj Rajagopal, Dongyeop Kang
- Abstract要約: LLM(Large Language Models)は、人間のような能力を持つ言語である。
本稿では,多様な意見に基づいて視点の多様性を測定するための基準に基づくプロンプト手法を提案する。
LLMはタスク主観性の度合いに応じて多様な意見を生成することができる。
- 参考スコア(独自算出の注目度): 17.66104821305835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Collecting diverse human data on subjective NLP topics is costly and
challenging. As Large Language Models (LLMs) have developed human-like
capabilities, there is a recent trend in collaborative efforts between humans
and LLMs for generating diverse data, offering potential scalable and efficient
solutions. However, the extent of LLMs' capability to generate diverse
perspectives on subjective topics remains an unexplored question. In this
study, we investigate LLMs' capacity for generating diverse perspectives and
rationales on subjective topics, such as social norms and argumentative texts.
We formulate this problem as diversity extraction in LLMs and propose a
criteria-based prompting technique to ground diverse opinions and measure
perspective diversity from the generated criteria words. Our results show that
measuring semantic diversity through sentence embeddings and distance metrics
is not enough to measure perspective diversity. To see how far we can extract
diverse perspectives from LLMs, or called diversity coverage, we employ a
step-by-step recall prompting for generating more outputs from the model in an
iterative manner. As we apply our prompting method to other tasks (hate speech
labeling and story continuation), indeed we find that LLMs are able to generate
diverse opinions according to the degree of task subjectivity.
- Abstract(参考訳): 主観的NLPトピックに関する多様な人的データを収集するのは費用がかかり難い。
LLM(Large Language Models)が人間のような能力を開発したため、多種多様なデータを生成するための人間とLLMの協調的な取り組みが最近流行し、潜在的にスケーラブルで効率的なソリューションを提供している。
しかしながら、主観的話題に対する多様な視点を生み出すllmsの能力は、未解決の疑問である。
本研究では,社会規範や論証文などの主観的話題に多様な視点と理性をもたらすLLMの能力について検討する。
本稿では, LLMにおける多様性抽出としてこの問題を定式化し, 多様な意見に基づいて, 生成した基準語から視点の多様性を計測するための基準ベースプロンプト手法を提案する。
その結果,文の埋め込みと距離計測による意味的多様性の測定は,視点の多様性を計測するには不十分であることがわかった。
LLMからどの程度多様な視点を抽出できるか、あるいは多様性カバレッジと呼ばれるかを調べるため、反復的な方法でモデルからより多くの出力を生成するためにステップバイステップのリコールプロンプトを採用している。
提案手法を他のタスク(hate speech labeling と story continuation)に適用すると,llm はタスクの主観度に応じて多様な意見を生成することができることがわかった。
関連論文リスト
- A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias [5.104497013562654]
本稿では,MLLMの進化,鍵技術,多言語能力について概説する。
我々は、MLLMのトレーニングや下流タスクに適した多言語データセットに広く利用されている多言語コーパスについて検討する。
本稿では,MLLMのカテゴリと評価指標を含むバイアスについて論じ,既存のデバイアス手法を要約する。
論文 参考訳(メタデータ) (2024-04-01T05:13:56Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。
17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。
その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
論文 参考訳(メタデータ) (2023-11-16T09:50:53Z) - On the steerability of large language models toward data-driven personas [98.9138902560793]
大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。
本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T19:01:13Z) - Improving Diversity of Demographic Representation in Large Language
Models via Collective-Critiques and Self-Voting [19.79214899011072]
本稿では,生成的大言語モデルにおける表現の多様性を形式化する。
評価データセットを提示し、人や文化軸に沿って生成された反応の多様性を測定する指標を提案する。
LLMは多様性の概念を理解し、その目標に対して自身の反応を推論し、批判することができる。
論文 参考訳(メタデータ) (2023-10-25T10:17:17Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-07-16T05:41:53Z) - Large Language Models as Superpositions of Cultural Perspectives [25.114678091641935]
大きな言語モデル(LLM)は、しばしば個性や値の集合を持つものとして誤解を招く。
LLMは、異なる価値観と性格特性を持つ視点の重ね合わせとみなすことができる。
論文 参考訳(メタデータ) (2023-07-15T19:04:33Z) - Improving Factuality and Reasoning in Language Models through Multiagent
Debate [95.10641301155232]
複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。
以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。
我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
論文 参考訳(メタデータ) (2023-05-23T17:55:11Z) - Retrieving Multimodal Information for Augmented Generation: A Survey [35.33076940985081]
マルチモーダルな知識を検索することで生成モデルを補助・拡張する手法について検討する。
このような手法は、事実性、推論、解釈可能性、堅牢性といった重要な問題に対する有望な解決策を提供する。
論文 参考訳(メタデータ) (2023-03-20T05:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。