論文の概要: Large Language Models as In-context AI Generators for Quality-Diversity
- arxiv url: http://arxiv.org/abs/2404.15794v1
- Date: Wed, 24 Apr 2024 10:35:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 19:30:27.555758
- Title: Large Language Models as In-context AI Generators for Quality-Diversity
- Title（参考訳）: 品質多様性のためのインコンテキストAIジェネレータとしての大規模言語モデル
- Authors: Bryan Lim, Manon Flageat, Antoine Cully,
- Abstract要約: In-context QDは、QDアーカイブをコンテキストとして、興味深いソリューションを作成することを目的としている。
In-context QD display promising results than both QD baselines and similar strategy developed for single-jective optimization。
- 参考スコア（独自算出の注目度）: 8.585387103144825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Quality-Diversity (QD) approaches are a promising direction to develop open-ended processes as they can discover archives of high-quality solutions across diverse niches. While already successful in many applications, QD approaches usually rely on combining only one or two solutions to generate new candidate solutions. As observed in open-ended processes such as technological evolution, wisely combining large diversity of these solutions could lead to more innovative solutions and potentially boost the productivity of QD search. In this work, we propose to exploit the pattern-matching capabilities of generative models to enable such efficient solution combinations. We introduce In-context QD, a framework of techniques that aim to elicit the in-context capabilities of pre-trained Large Language Models (LLMs) to generate interesting solutions using the QD archive as context. Applied to a series of common QD domains, In-context QD displays promising results compared to both QD baselines and similar strategies developed for single-objective optimization. Additionally, this result holds across multiple values of parameter sizes and archive population sizes, as well as across domains with distinct characteristics from BBO functions to policy search. Finally, we perform an extensive ablation that highlights the key prompt design considerations that encourage the generation of promising solutions for QD.
- Abstract（参考訳）: QD(Quality-Diversity)アプローチは、様々なニッチにまたがる高品質なソリューションのアーカイブを見つけることができるため、オープンなプロセスを開発する上で有望な方向である。
既に多くのアプリケーションで成功したが、QDアプローチは通常、新しい候補ソリューションを生成するために1つまたは2つのソリューションの組み合わせに頼っている。
技術進化のようなオープンなプロセスで観察されるように、これらのソリューションの大きな多様性を賢明に組み合わせることで、より革新的なソリューションが生まれ、QD検索の生産性が向上する可能性がある。
本研究では、生成モデルのパターンマッチング機能を利用して、そのような効率的な解の組み合わせを実現することを提案する。
In-context QDは、事前学習されたLarge Language Models (LLMs) のコンテキスト内能力を引き出す手法のフレームワークであり、QDアーカイブをコンテキストとして利用する興味深いソリューションを生成する。
一連の共通QDドメインに適用すると、In-context QDは、単目的最適化のために開発されたQDベースラインと類似の戦略の両方と比較して有望な結果を示す。
さらに、この結果は、パラメータサイズとアーカイブ人口サイズの複数の値にまたがるだけでなく、BBO関数と異なる特徴を持つ領域やポリシー探索の領域にも及んでいる。
最後に、QDのための有望なソリューションの創出を促進する重要なプロンプト設計の考察を強調した広範囲なアブレーションを行う。
関連論文リスト
- Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。
反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。
GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
論文 参考訳（メタデータ） (2024-10-11T23:29:20Z) - DiffSG: A Generative Solver for Network Optimization with Diffusion Model [75.27274046562806]
拡散生成モデルはより広い範囲の解を考えることができ、学習パラメータによるより強力な一般化を示す。
拡散生成モデルの本質的な分布学習を利用して高品質な解を学習する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-13T07:56:21Z) - KaPQA: Knowledge-Augmented Product Question-Answering [59.096607961704656]
我々はAdobe AcrobatとPhotoshop製品に焦点を当てた2つのQAデータセットを紹介した。
また、製品QAタスクにおけるモデルの性能を高めるために、新しい知識駆動型RAG-QAフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-22T22:14:56Z) - IDEAL: Leveraging Infinite and Dynamic Characterizations of Large Language Models for Query-focused Summarization [59.06663981902496]
クエリ中心の要約(QFS)は、特定の関心事に答え、より優れたユーザ制御とパーソナライゼーションを可能にする要約を作成することを目的としている。
本稿では,LLMを用いたQFSモデル,Longthy Document Summarization,およびクエリ-LLMアライメントの2つの重要な特徴について検討する。
これらのイノベーションは、QFS技術分野における幅広い応用とアクセシビリティの道を開いた。
論文 参考訳（メタデータ） (2024-07-15T07:14:56Z) - Explicit Diversity Conditions for Effective Question Answer Generation with Large Language Models [37.641872859809844]
質問応答生成(QAG)は,質問応答システムの精度を向上させる効果的なデータ拡張手法である。
我々は,空間的側面,質問タイプ,実体に着目し,QAGの明確な多様性条件を提示する。
特に、下流QAモデルをトレーニングする際、明確な多様性条件から生成されたQAペアは、QAGよりも平均4.1%正確な一致と4.5%のF1改善をもたらす。
論文 参考訳（メタデータ） (2024-06-26T00:12:08Z) - Quality Diversity through Human Feedback: Towards Open-Ended Diversity-Driven Optimization [13.436983663467938]
本稿では,ヒトフィードバックによる品質の多様性(QDHF)について紹介する。
実証的な研究によると、QDHFは自動多様性発見において最先端の手法を著しく上回っている。
オープンな生成タスクにおいて、QDHFは拡散モデルからテキストから画像への生成の多様性を大幅に向上させる。
論文 参考訳（メタデータ） (2023-10-18T16:46:16Z) - Efficient Quality-Diversity Optimization through Diverse Quality Species [3.428706362109921]
我々は,アーカイブの必要をなくしたり,事前の動作範囲を定義したりすることなく,多様な解の集団を見つけることができることを示す。
本稿では,アーカイブベースの品質多様性(QD)アルゴリズムの代替として,DQS(Diverse Quality Species)を提案する。
論文 参考訳（メタデータ） (2023-04-14T23:15:51Z) - Don't Bet on Luck Alone: Enhancing Behavioral Reproducibility of
Quality-Diversity Solutions in Uncertain Domains [2.639902239625779]
アーカイブ再現性向上アルゴリズム(ARIA)を紹介する。
ARIAは、アーカイブに存在するソリューションの品質を改善するプラグイン・アンド・プレイのアプローチである。
提案アルゴリズムは,任意のアーカイブの品質とディスクリプタ空間のカバレッジを少なくとも50%向上させることを示す。
論文 参考訳（メタデータ） (2023-04-07T14:45:14Z) - SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep
Reinforcement Learning [102.78958681141577]
SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。
SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
論文 参考訳（メタデータ） (2020-07-09T17:08:44Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳（メタデータ） (2020-05-28T08:26:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。