論文の概要: Improving Structural Diversity of Blackbox LLMs via Chain-of-Specification Prompting

• arxiv url: http://arxiv.org/abs/2408.06186v1
• Date: Mon, 12 Aug 2024 14:34:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 13:13:27.367110
• Title: Improving Structural Diversity of Blackbox LLMs via Chain-of-Specification Prompting
• Title（参考訳）: ブラックボックスLCMの構造多様性向上
• Authors: Halley Young, Yimeng Zeng, Jacob Gardner, Osbert Bastani,
• Abstract要約: そこで本研究では,ユーザが生成したテキストから,興味のある多様性を捉えた特徴までをマッピングする,構造的多様性と呼ばれる多様性指標を提案する。 実験では,詩文やコード領域の構造的多様性に対して,CoSはいくつかのベースラインに比べて多様性を著しく向上させることを示した。
• 参考スコア（独自算出の注目度）: 28.971248570622603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The capability to generate diverse text is a key challenge facing large language models (LLMs). Thus far, diversity has been studied via metrics such as $n$-gram diversity or diversity of BERT embeddings. However, for these kinds of diversity, the user has little control over the dimensions along which diversity is considered. For example, in the poetry domain, one might desire diversity in terms of rhyme and meter, whereas in the code domain, one might desire diversity in terms of the kinds of expressions used to solve a problem. We propose a diversity metric called structural diversity, where the user provides a mapping from generated text to features capturing the kinds of diversity that they care about. In addition, we propose a novel strategy called chain-of-specification (CoS) prompting for improving diversity by first having the LLM generate a specification encoding one instance of structural features, and then prompting the LLM to generate text that satisfies these features; notably, our strategy works with blackbox LLMs. In our experiments, we show that for structural diversity in the poetry and code domains, CoS significantly improves diversity compared to several baselines.
• Abstract（参考訳）: 多様なテキストを生成する能力は、大きな言語モデル(LLM)に直面する重要な課題である。 これまでのところ、多様性は$n$-gramの多様性やBERT埋め込みの多様性などを通じて研究されている。 しかし、このような多様性については、利用者は多様性が考慮される次元をほとんど制御できない。 例えば、詩文領域では韻律やメートル法で多様性を求めるが、コード領域では問題解決に使用される表現の種類で多様性を求めることがある。 そこで本研究では,ユーザが生成したテキストから,興味のある多様性を捉えた特徴までをマッピングする,構造的多様性と呼ばれる多様性指標を提案する。 さらに,まずLLMに1つの構造的特徴をコードする仕様を作成した上で,これらの特徴を満足するテキストを生成することで,多様性の向上を促す「チェーン・オブ・セグメンテーション(CoS)」という新たな戦略を提案する。 実験では,詩文やコード領域の構造的多様性に対して,CoSはいくつかのベースラインに比べて多様性を著しく向上させることを示した。

関連論文リスト

• Exploring and Controlling Diversity in LLM-Agent Conversation [17.38671584773247]
  本稿では,発話生成プロンプトの内容を動的に調整して多様性を制御する新しい手法であるAdaptive Prompt Pruning (APP)を提案する。 APPはモデルやデータセット間のアウトプットの多様性を効果的に制御し、より多くの情報がより多様なアウトプットにつながる。 APPは温度サンプリングやトップpサンプリングといった確立した技術と互換性があり、多様性管理のための汎用的なツールを提供する。
  論文  参考訳（メタデータ） (2024-12-30T17:25:58Z)
• Improving Linguistic Diversity of Large Language Models with Possibility Exploration Fine-Tuning [23.456302461693053]
  PEFT(Possibility Exploration Fine-Tuning)は、大規模言語モデル(LLM)のテキストの多様性を高めるためのタスクに依存しないフレームワークである。 PEFT は LLM 出力の多様性を著しく向上させる。 また、対話システムにおける人口統計バイアスを顕著に低減することができる。
  論文  参考訳（メタデータ） (2024-12-04T14:23:16Z)
• Prompt as Free Lunch: Enhancing Diversity in Source-Free Cross-domain Few-shot Learning through Semantic-Guided Prompting [9.116108409344177]
  ソースフリーのクロスドメイン数ショット学習タスクは、最小限のサンプルを使用して、トレーニング済みのモデルをターゲットのドメインに転送することを目的としている。 本稿では2つのフェーズに分けられるSeGD-VPTフレームワークを提案する。 最初のステップは、各サポートサンプルに多様性プロンプトを追加し、様々な入力を生成し、サンプルの多様性を高めることで、機能の多様性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-12-01T11:00:38Z)
• Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
  本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。 モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。 提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
  論文  参考訳（メタデータ） (2024-02-28T16:35:52Z)
• Diversify Question Generation with Retrieval-Augmented Style Transfer [68.00794669873196]
  本稿では,検索型スタイル転送のためのフレームワーク RAST を提案する。 本研究の目的は,多様なテンプレートのスタイルを質問生成に活用することである。 多様性報酬と一貫性報酬の重み付けを最大化する新しい強化学習(RL)ベースのアプローチを開発する。
  論文  参考訳（メタデータ） (2023-10-23T02:27:31Z)
• ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer [91.43066633305662]
  本稿では,多種多様な二ソース密度予測タスクのためのアンダーラインComPlementaryアンダーライン変換器textbfComPtrを提案する。 ComPtrは異なる入力を等しく扱い、変換器上にシーケンス・ツー・シーケンスの形で効率的な密な相互作用モデルを構築する。
  論文  参考訳（メタデータ） (2023-07-23T15:17:45Z)
• A Unified Algorithm Framework for Unsupervised Discovery of Skills based on Determinantal Point Process [53.86223883060367]
  教師なしオプション発見における多様性とカバレッジは、実際には同じ数学的枠組みの下で統一可能であることを示す。 提案アルゴリズムであるODPPは,MujocoとAtariで作成した課題に対して,広範囲に評価されている。
  論文  参考訳（メタデータ） (2022-12-01T01:40:03Z)
• Neural Text Generation with Part-of-Speech Guided Softmax [82.63394952538292]
  テキスト生成を導くために,言語アノテーション,すなわち部分音声(POS)を用いることを提案する。 提案手法は,比較品質を維持しつつ,より多様なテキストを生成できることを示した。
  論文  参考訳（メタデータ） (2021-05-08T08:53:16Z)
• Evaluating the Evaluation of Diversity in Natural Language Generation [43.05127848086264]
  本稿では,自然言語生成システムにおける多様性指標を評価するためのフレームワークを提案する。 当社のフレームワークは,NLGシステムの改善に向けた重要なステップである,さまざまな多様性指標の理解を促進することができる。
  論文  参考訳（メタデータ） (2020-04-06T20:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。