論文の概要: Language Model Crossover: Variation through Few-Shot Prompting

• arxiv url: http://arxiv.org/abs/2302.12170v3
• Date: Mon, 13 May 2024 23:57:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 20:09:59.380204
• Title: Language Model Crossover: Variation through Few-Shot Prompting
• Title（参考訳）: 言語モデルのクロスオーバー: わずかなショットプロンプトによる変化
• Authors: Elliot Meyerson, Mark J. Nelson, Herbie Bradley, Adam Gaier, Arash Moradi, Amy K. Hoover, Joel Lehman,
• Abstract要約: 本稿では,言語モデルが進化的クロスオーバーに類似した知的変動演算子を自然に実現できるという知見を追求する。 本稿では、バイナリビット文字列、文、方程式、テキスト・ツー・イメージプロンプト、Pythonコードの進化を通じて、言語モデルのクロスオーバーの汎用性を明らかにする。
• 参考スコア（独自算出の注目度）: 12.163260331803786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper pursues the insight that language models naturally enable an intelligent variation operator similar in spirit to evolutionary crossover. In particular, language models of sufficient scale demonstrate in-context learning, i.e. they can learn from associations between a small number of input patterns to generate outputs incorporating such associations (also called few-shot prompting). This ability can be leveraged to form a simple but powerful variation operator, i.e. to prompt a language model with a few text-based genotypes (such as code, plain-text sentences, or equations), and to parse its corresponding output as those genotypes' offspring. The promise of such language model crossover (which is simple to implement and can leverage many different open-source language models) is that it enables a simple mechanism to evolve semantically-rich text representations (with few domain-specific tweaks), and naturally benefits from current progress in language models. Experiments in this paper highlight the versatility of language-model crossover, through evolving binary bit-strings, sentences, equations, text-to-image prompts, and Python code. The conclusion is that language model crossover is a promising method for evolving genomes representable as text.
• Abstract（参考訳）: 本稿では,言語モデルが進化的クロスオーバーに類似した知的変動演算子を自然に実現できるという知見を追求する。 特に、十分なスケールの言語モデルは、文脈内学習、すなわち、少数の入力パターン間の関連から学習し、そのような関連を組み込んだアウトプットを生成することができる(" few-shot prompting"とも呼ばれる)。 この能力は、単純だが強力な変動演算子、すなわち、いくつかのテキストベースのジェノタイプ(コード、平文文、方程式など)を持つ言語モデルを誘導し、対応する出力をそれらのジェノタイプの子孫として解析するために利用することができる。 このような言語モデルのクロスオーバー(実装が簡単で、多くの異なるオープンソース言語モデルを利用することができる)の約束は、意味的にリッチなテキスト表現(ドメイン固有の微調整がほとんどない)を進化させるシンプルなメカニズムを可能にし、言語モデルの現在の進歩から自然に恩恵を受けることである。 本稿では、バイナリビット文字列、文、方程式、テキスト・ツー・イメージプロンプト、Pythonコードの進化を通じて、言語モデルのクロスオーバーの汎用性を明らかにする。 結論として、言語モデルのクロスオーバーは、テキストとして表現可能なゲノムを進化させるための有望な方法である。

関連論文リスト

• A Fundamental Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
  汎用言語モデルとその整列バージョンが与えられた場合、一般的な言語モデルの下では、平均報酬と平均ログライクな文字列の間にトレードオフが存在する。 この問題を形式的に処理し、サンプリングアダプタの選択が、報酬と交換する可能性の選択を可能にすることを実証する。
  論文  参考訳（メタデータ） (2024-06-14T17:38:21Z)
• Learning Mutually Informed Representations for Characters and Subwords [26.189422354038978]
  本稿では,文字とサブワードの言語モデルを組み合わせることを目的とした絡み合いモデルを提案する。 視覚言語モデルにインスパイアされた我々のモデルは、文字とサブワードを別のモダリティとして扱う。 テキスト分類、名前付きエンティティ認識、POSタグ付け、文字レベルのシーケンスラベリングについて評価を行った。
  論文  参考訳（メタデータ） (2023-11-14T02:09:10Z)
• Unveiling Multilinguality in Transformer Models: Exploring Language Specificity in Feed-Forward Networks [12.7259425362286]
  多言語モデルがキー値記憶をどのように活用するかを検討する。 2つ以上の言語で訓練された自己回帰モデルに対して、すべてのニューロン(層全体)は全ての言語に等しく反応するのか? その結果,ネットワークの入力や出力に最も近い層は,中間層に比べて言語固有の振る舞いを示す傾向があることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T06:45:00Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
  言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。 XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。 実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
  論文  参考訳（メタデータ） (2021-02-16T18:47:10Z)
• Cross-neutralising: Probing for joint encoding of linguistic information in multilingual models [17.404220737977738]
  言語間の関係を2つの最先端多言語モデルにエンコードする方法について検討する。 その結果,言語特性は類型的に類似した言語間で共同でコード化されていることが示唆された。
  論文  参考訳（メタデータ） (2020-10-24T07:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。