論文の概要: Fluent dreaming for language models

• arxiv url: http://arxiv.org/abs/2402.01702v1
• Date: Wed, 24 Jan 2024 17:57:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-11 16:42:45.865525
• Title: Fluent dreaming for language models
• Title（参考訳）: 言語モデルのためのfluent dreaming
• Authors: T. Ben Thompson (1), Zygimantas Straznickas (1), Michael Sklar (1) ((1) Confirm Labs)
• Abstract要約: 機能可視化(英: Feature Visualization)は、ニューロンの活性化や他の内部成分を最大化するために入力を最適化することで視覚モデルに対する洞察を提供する。 本稿では,言語モデル逆アタック文学からの手法であるGreedy Coordinate Gradientを拡張して,進化的プロンプト最適化(EPO)アルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature visualization, also known as "dreaming", offers insights into vision models by optimizing the inputs to maximize a neuron's activation or other internal component. However, dreaming has not been successfully applied to language models because the input space is discrete. We extend Greedy Coordinate Gradient, a method from the language model adversarial attack literature, to design the Evolutionary Prompt Optimization (EPO) algorithm. EPO optimizes the input prompt to simultaneously maximize the Pareto frontier between a chosen internal feature and prompt fluency, enabling fluent dreaming for language models. We demonstrate dreaming with neurons, output logits and arbitrary directions in activation space. We measure the fluency of the resulting prompts and compare language model dreaming with max-activating dataset examples. Critically, fluent dreaming allows automatically exploring the behavior of model internals in reaction to mildly out-of-distribution prompts. Code for running EPO is available at https://github.com/Confirm-Solutions/dreamy. A companion page demonstrating code usage is at https://confirmlabs.org/posts/dreamy.html
• Abstract（参考訳）: 機能可視化(英: Feature Visualization)は、ニューロンの活性化や他の内部成分を最大化するために入力を最適化することで視覚モデルに対する洞察を提供する。 しかし、入力空間が離散的であるため、夢は言語モデルにうまく適用されていない。 本稿では,言語モデル逆アタック文学からの手法であるGreedy Coordinate Gradientを拡張して,進化的プロンプト最適化(EPO)アルゴリズムを設計する。 EPOは入力プロンプトを最適化し、選択した内部特徴と急流の間のParetoフロンティアを同時に最大化する。 ニューロンの夢、出力ロジット、任意の方向を活性化空間で示す。 我々は、結果のプロンプトの流動性を計測し、言語モデルドリームと最大アクティベーションデータセットの例を比較します。 批判的に言えば、fluent dreamingは、軽度に分散しないプロンプトに反応して、モデル内部の自動的な振る舞いを探索することができる。 EPOの実行コードはhttps://github.com/Confirm-Solutions/dreamy.comで公開されている。 コード使用例を示すコンパニオンページはhttps://confirmlabs.org/posts/dreamy.htmlにある。

関連論文リスト

• Visual Contexts Clarify Ambiguous Expressions: A Benchmark Dataset [0.39462888523270856]
  VAGUEは3.9Kの間接的人間発話と対応するシーンを組み合わせたマルチモーダル・ベンチマークである。 我々の研究は、モデルが間接的なコミュニケーションを理解する能力について深く掘り下げ、より洗練され人間的な対話が可能なモデルの開発に貢献することを目的としています。
  論文  参考訳（メタデータ） (2024-11-21T14:01:42Z)
• Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning [59.13366859237086]
  大規模視覚言語(VL)モデルを効率的に構築するための現在のソリューションは、2段階のパラダイムに従う。 視覚情報に関連するタスクに対処する際の言語モデルを容易にする追加知識として視覚的プロンプトを考察する。 本稿では,視覚的知識注入のためのFFNの重み付けにより視覚的プロンプトを記憶する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-09T08:23:20Z)
• SpeechAlign: Aligning Speech Generation to Human Preferences [51.684183257809075]
  本稿では,言語モデルと人間の嗜好を一致させる反復的自己改善戦略であるSpeechAlignを紹介する。 我々は、SpeechAlignが分散ギャップを埋め、言語モデルの継続的自己改善を促進することができることを示す。
  論文  参考訳（メタデータ） (2024-04-08T15:21:17Z)
• Sequence-to-Sequence Language Models for Character and Emotion Detection in Dream Narratives [0.0]
  本稿では,オープンドリームバンク・コーパス・オブ・ドリームストーリーズ(DreamBank corpus of Dream Storys)の英語部分における性格と感情の検出に関する最初の研究について述べる。 以上の結果から,言語モデルがこの複雑な課題に効果的に対処できることが示唆された。 モデルサイズ,文字の予測順序,固有名や文字の特徴を考慮した評価を行った。
  論文  参考訳（メタデータ） (2024-03-21T08:27:49Z)
• RecExplainer: Aligning Large Language Models for Explaining Recommendation Models [50.74181089742969]
  大規模言語モデル (LLM) は、理解、推論、指導において顕著な知性を示した。 本稿では, ブラックボックスレコメンデータモデルを説明するために, LLM を代理モデルとして利用することについて検討する。 効果的なアライメントを容易にするために,行動アライメント,意図アライメント,ハイブリッドアライメントという3つの手法を導入する。
  論文  参考訳（メタデータ） (2023-11-18T03:05:43Z)
• Bidirectional Representations for Low Resource Spoken Language Understanding [39.208462511430554]
  双方向リッチ符号化における音声符号化のための表現モデルを提案する。 このアプローチでは、表現を学習するために、マスク付き言語モデリングの目的を使用する。 得られたエンコーディングの性能は、複数のデータセットで比較できるモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-24T17:05:16Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。