論文の概要: Improving Structural Diversity of Blackbox LLMs via Chain-of-Specification Prompting
- arxiv url: http://arxiv.org/abs/2408.06186v1
- Date: Mon, 12 Aug 2024 14:34:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 13:13:27.367110
- Title: Improving Structural Diversity of Blackbox LLMs via Chain-of-Specification Prompting
- Title(参考訳): ブラックボックスLCMの構造多様性向上
- Authors: Halley Young, Yimeng Zeng, Jacob Gardner, Osbert Bastani,
- Abstract要約: そこで本研究では,ユーザが生成したテキストから,興味のある多様性を捉えた特徴までをマッピングする,構造的多様性と呼ばれる多様性指標を提案する。
実験では,詩文やコード領域の構造的多様性に対して,CoSはいくつかのベースラインに比べて多様性を著しく向上させることを示した。
- 参考スコア(独自算出の注目度): 28.971248570622603
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The capability to generate diverse text is a key challenge facing large language models (LLMs). Thus far, diversity has been studied via metrics such as $n$-gram diversity or diversity of BERT embeddings. However, for these kinds of diversity, the user has little control over the dimensions along which diversity is considered. For example, in the poetry domain, one might desire diversity in terms of rhyme and meter, whereas in the code domain, one might desire diversity in terms of the kinds of expressions used to solve a problem. We propose a diversity metric called structural diversity, where the user provides a mapping from generated text to features capturing the kinds of diversity that they care about. In addition, we propose a novel strategy called chain-of-specification (CoS) prompting for improving diversity by first having the LLM generate a specification encoding one instance of structural features, and then prompting the LLM to generate text that satisfies these features; notably, our strategy works with blackbox LLMs. In our experiments, we show that for structural diversity in the poetry and code domains, CoS significantly improves diversity compared to several baselines.
- Abstract(参考訳): 多様なテキストを生成する能力は、大きな言語モデル(LLM)に直面する重要な課題である。
これまでのところ、多様性は$n$-gramの多様性やBERT埋め込みの多様性などを通じて研究されている。
しかし、このような多様性については、利用者は多様性が考慮される次元をほとんど制御できない。
例えば、詩文領域では韻律やメートル法で多様性を求めるが、コード領域では問題解決に使用される表現の種類で多様性を求めることがある。
そこで本研究では,ユーザが生成したテキストから,興味のある多様性を捉えた特徴までをマッピングする,構造的多様性と呼ばれる多様性指標を提案する。
さらに,まずLLMに1つの構造的特徴をコードする仕様を作成した上で,これらの特徴を満足するテキストを生成することで,多様性の向上を促す「チェーン・オブ・セグメンテーション(CoS)」という新たな戦略を提案する。
実験では,詩文やコード領域の構造的多様性に対して,CoSはいくつかのベースラインに比べて多様性を著しく向上させることを示した。
関連論文リスト
- Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。
モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。
提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
論文 参考訳(メタデータ) (2024-02-28T16:35:52Z) - Diversify Question Generation with Retrieval-Augmented Style Transfer [68.00794669873196]
本稿では,検索型スタイル転送のためのフレームワーク RAST を提案する。
本研究の目的は,多様なテンプレートのスタイルを質問生成に活用することである。
多様性報酬と一貫性報酬の重み付けを最大化する新しい強化学習(RL)ベースのアプローチを開発する。
論文 参考訳(メタデータ) (2023-10-23T02:27:31Z) - Diverse Diffusion: Enhancing Image Diversity in Text-to-Image Generation [0.0]
画像の多様性をジェンダーや民族を超えて向上させる方法であるDiverse Diffusionを紹介した。
私たちのアプローチは、より包括的で代表的なAI生成アートの作成に寄与します。
論文 参考訳(メタデータ) (2023-10-19T08:48:23Z) - Does Writing with Language Models Reduce Content Diversity? [16.22006159795341]
大規模言語モデル(LLM)は、モデルアシストによる協調的な記述の急増につながっている。
異なるユーザが同じモデルから提案を取り入れているため、生成したコンテンツの多様性が低下するリスクがある。
多様性指標のセットを開発し,InstructGPTによる記述は(GPT3ではなく)統計的に有意な多様性低下をもたらすことを示した。
論文 参考訳(メタデータ) (2023-09-11T02:16:47Z) - ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple
yet General Complementary Transformer [91.43066633305662]
本稿では,多種多様な二ソース密度予測タスクのためのアンダーラインComPlementaryアンダーライン変換器textbfComPtrを提案する。
ComPtrは異なる入力を等しく扱い、変換器上にシーケンス・ツー・シーケンスの形で効率的な密な相互作用モデルを構築する。
論文 参考訳(メタデータ) (2023-07-23T15:17:45Z) - A Unified Algorithm Framework for Unsupervised Discovery of Skills based
on Determinantal Point Process [53.86223883060367]
教師なしオプション発見における多様性とカバレッジは、実際には同じ数学的枠組みの下で統一可能であることを示す。
提案アルゴリズムであるODPPは,MujocoとAtariで作成した課題に対して,広範囲に評価されている。
論文 参考訳(メタデータ) (2022-12-01T01:40:03Z) - Unifying Behavioral and Response Diversity for Open-ended Learning in
Zero-sum Games [44.30509625560908]
オープンエンド学習アルゴリズムでは、多様性の定義が広く受け入れられておらず、多様なポリシーの構築と評価が困難である。
行動多様性(BD)と反応多様性(RD)の両方に基づくマルチエージェントオープンエンド学習における多様性の統一尺度を提案する。
現在,多くの多様性対策が,BDやRDのカテゴリの1つに該当するが,両方ではないことを示す。
この統一された多様性尺度を用いて、オープンエンド学習における最良の応答を求める際に、対応する多様性促進目標と人口効果度を設計する。
論文 参考訳(メタデータ) (2021-06-09T10:11:06Z) - Neural Text Generation with Part-of-Speech Guided Softmax [82.63394952538292]
テキスト生成を導くために,言語アノテーション,すなわち部分音声(POS)を用いることを提案する。
提案手法は,比較品質を維持しつつ,より多様なテキストを生成できることを示した。
論文 参考訳(メタデータ) (2021-05-08T08:53:16Z) - Evaluating the Evaluation of Diversity in Natural Language Generation [43.05127848086264]
本稿では,自然言語生成システムにおける多様性指標を評価するためのフレームワークを提案する。
当社のフレームワークは,NLGシステムの改善に向けた重要なステップである,さまざまな多様性指標の理解を促進することができる。
論文 参考訳(メタデータ) (2020-04-06T20:44:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。