論文の概要: Learning Extrapolative Sequence Transformations from Markov Chains
- arxiv url: http://arxiv.org/abs/2505.20251v1
- Date: Mon, 26 May 2025 17:27:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 14:37:20.349108
- Title: Learning Extrapolative Sequence Transformations from Markov Chains
- Title（参考訳）: マルコフ連鎖から外挿配列変換を学習する
- Authors: Sophia Hager, Aleem Khan, Andrew Wang, Nicholas Andrews,
- Abstract要約: 本稿では, 自己回帰モデルを用いて, 興味の系列レベルの性質に沿って外挿する新規な配列を効率よく生成できることを示す。
提案手法は, タンパク質配列設計, テキスト感情制御, テキスト匿名化の3つの問題に対して検証された。
- 参考スコア（独自算出の注目度）: 6.161395208969171
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Most successful applications of deep learning involve similar training and test conditions. However, tasks such as biological sequence design involve searching for sequences that improve desirable properties beyond previously known values, which requires novel hypotheses that \emph{extrapolate} beyond training data. In these settings, extrapolation may be achieved by using random search methods such as Markov chain Monte Carlo (MCMC), which, given an initial state, sample local transformations to approximate a target density that rewards states with the desired properties. However, even with a well-designed proposal, MCMC may struggle to explore large structured state spaces efficiently. Rather than relying on stochastic search, it would be desirable to have a model that greedily optimizes the properties of interest, successfully extrapolating in as few steps as possible. We propose to learn such a model from the Markov chains resulting from MCMC search. Specifically, our approach uses selected states from Markov chains as a source of training data for an autoregressive model, which is then able to efficiently generate novel sequences that extrapolate along the sequence-level properties of interest. The proposed approach is validated on three problems: protein sequence design, text sentiment control, and text anonymization. We find that the autoregressive model can extrapolate as well or better than MCMC, but with the additional benefits of scalability and significantly higher sample efficiency.
- Abstract（参考訳）: ディープラーニングの最も成功した応用は、同様のトレーニングとテスト条件である。
しかし、生物配列設計のようなタスクは、既知値以上の望ましい性質を改善する配列を探すことを含み、これは訓練データを超えた新しい仮説を必要とする。
これらの設定において、外挿はマルコフ連鎖モンテカルロ (MCMC) のようなランダムな探索法を用いて達成され、初期状態が与えられたとき、ターゲット密度を近似して所望の特性を持つ状態に報酬を与える局所変換をサンプリングする。
しかし、よく設計された提案であっても、MCMCは大きな状態空間を効率的に探索するのに苦労する可能性がある。
確率探索に頼るのではなく、興味のある性質を優しく最適化し、できるだけ少数のステップで外挿を成功させるモデルを持つことが望ましい。
MCMC探索によるマルコフ連鎖からそのようなモデルを学ぶことを提案する。
具体的には、マルコフ連鎖から選択された状態を用いて自己回帰モデルのトレーニングデータを生成し、興味のあるシーケンスレベルの性質に沿って外挿する新規なシーケンスを効率的に生成することができる。
提案手法は, タンパク質配列設計, テキスト感情制御, テキスト匿名化の3つの問題に対して検証された。
自動回帰モデルはMCMCと同等かそれ以上に外挿可能であるが,スケーラビリティと試料効率の大幅な向上により,さらなるメリットが期待できる。
関連論文リスト
- From Self-Attention to Markov Models: Unveiling the Dynamics of
Generative Transformers [41.82477691012942]
本研究では,一連のプロンプトと関連する出力データから1層自己注意モデルを学習する。
まず、自己注意機構とマルコフモデルとの正確なマッピングを確立する。
我々は,自己注意による生成過程が崩壊し,トークンの限られた部分集合をサンプリングする,興味深い勝者とあらゆる現象を特徴付ける。
論文 参考訳（メタデータ） (2024-02-21T03:51:34Z) - Quick Adaptive Ternary Segmentation: An Efficient Decoding Procedure For
Hidden Markov Models [70.26374282390401]
ノイズの多い観測から元の信号(すなわち隠れ鎖)を復号することは、ほぼすべてのHMMに基づくデータ分析の主要な目標の1つである。
本稿では,多対数計算複雑性において隠れた列を復号化するための分法であるQuick Adaptive Ternary(QATS)を提案する。
論文 参考訳（メタデータ） (2023-05-29T19:37:48Z) - Langevin Autoencoders for Learning Deep Latent Variable Models [27.60436426879683]
我々はLangevin autoencoder (LAE) という新しい潜伏変数モデルを提案する。
ALDに基づいて、Langevin autoencoder (LAE) という新しい深層潜伏変数モデルも提示する。
論文 参考訳（メタデータ） (2022-09-15T04:26:22Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳（メタデータ） (2022-08-26T04:28:01Z) - Symbolic Regression by Exhaustive Search: Reducing the Search Space
Using Syntactical Constraints and Efficient Semantic Structure Deduplication [2.055204980188575]
シンボリック回帰は、モデル構造に関する事前の知識が得られない産業シナリオにおいて、強力なシステム識別技術である。
この章では、これらの問題に対処するために特別に設計された決定論的シンボリック回帰アルゴリズムを紹介します。
全ての可能なモデルの有限列挙は、構造的制約と意味論的に等価な解を検出するキャッシング機構によって保証される。
論文 参考訳（メタデータ） (2021-09-28T17:47:51Z) - Efficient Data-specific Model Search for Collaborative Filtering [56.60519991956558]
協調フィルタリング(CF)はレコメンダシステムの基本的なアプローチである。
本稿では,機械学習(AutoML)の最近の進歩を動機として,データ固有のCFモデルを設計することを提案する。
ここでキーとなるのは、最先端(SOTA)のCFメソッドを統一し、それらを入力エンコーディング、埋め込み関数、インタラクション、予測関数の非結合ステージに分割する新しいフレームワークである。
論文 参考訳（メタデータ） (2021-06-14T14:30:32Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳（メタデータ） (2020-10-05T20:03:13Z) - Learning the Markov order of paths in a network [1.5229257192293197]
ネットワーク内の経路を表す分類列におけるマルコフ順序の学習問題について検討する。
経路に対するマルチオーダー・モデリング・フレームワークを導入し,マルコフ順序をより確実に検出するベイズ学習手法を開発した。
我々の研究は、ネットワーク分析における高次モデルの必要性を強調する研究機関の成長にさらに関係している。
論文 参考訳（メタデータ） (2020-07-06T16:27:02Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳（メタデータ） (2020-06-24T17:53:53Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2020-03-14T22:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。