論文の概要: On the Sequence Evaluation based on Stochastic Processes

• arxiv url: http://arxiv.org/abs/2405.17764v3
• Date: Thu, 03 Oct 2024 03:03:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 22:52:58.719734
• Title: On the Sequence Evaluation based on Stochastic Processes
• Title（参考訳）: 確率過程に基づくシーケンス評価について
• Authors: Tianhao Zhang, Zhexiao Lin, Zhecheng Sheng, Chen Jiang, Dongyeop Kang,
• Abstract要約: 負の対数型エンコーダを用いて長文列のダイナミクスを学習するための新しい手法を提案する。 また、シーケンスコヒーレンスを測定する長文評価のための確率に基づく評価指標も導入する。
• 参考スコア（独自算出の注目度）: 17.497842325320825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative models have gained significant prominence in Natural Language Processing (NLP), especially in tackling the complex task of modeling and evaluating long text sequences. This task is crucial for advancing various downstream applications, such as text generation and machine translation. Recent methods that utilize stochastic processes to capture the intrinsic dynamics of sequences have shown superior performance in generative modeling. However, the accurate encoding of both temporal and structural dependencies from text datasets, as well as leveraging this encoded information for sequence evaluation, remains an open area of research. In this paper, we propose a novel approach to learn the stochastic dynamics of long text sequences, utilizing a negative log-likelihood-based encoder that outperforms contrastive learning methods. We also introduce a likelihood-based evaluation metric for long-text assessment, which measures sequence coherence and can be applied to downstream tasks such as Human-AI discrimination. Our encoder preserves sequence coherence effectively and performs robustly on out-of-domain datasets. Additionally, the proposed evaluation metric captures both temporal and structural information comprehensively. Theoretical analysis demonstrates the superiority of our metric in sequence evaluation, and experimental results highlight its flexibility and exceptional performance across a variety of tasks, showcasing its utility in diverse NLP applications.
• Abstract（参考訳）: 生成モデルは自然言語処理(NLP)において、特に長いテキストシーケンスをモデリングし評価する複雑なタスクに取り組む際に、顕著に有名になった。 このタスクは、テキスト生成や機械翻訳など、さまざまなダウンストリームアプリケーションを進める上で不可欠である。 近年, 確率過程を用いてシーケンスの固有ダイナミクスを捉える手法は, 生成モデルにおいて優れた性能を示した。 しかし、テキストデータセットからの時間的および構造的依存関係の正確な符号化と、この符号化された情報をシーケンス評価に活用することは、まだ研究の領域である。 本稿では,長文列の確率的ダイナミクスを学習するための新しい手法を提案する。 また、シーケンスコヒーレンスを計測し、人間-AI識別などの下流タスクに適用可能な、長文評価のための可能性に基づく評価指標も導入する。 エンコーダはシーケンスコヒーレンスを効果的に保存し、ドメイン外のデータセットで堅牢に処理する。 さらに,提案手法は時間的・構造的情報を包括的に把握する。 理論的解析により,提案手法のシーケンス評価における優位性が示され,実験結果から様々なタスクにおける柔軟性と例外的性能が強調され,多様なNLPアプリケーションで有用であることが示されている。

関連論文リスト

• Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting [0.0]
  本稿では,局所的時間的表現学習をグローバル依存モデルから分離する2段階予測フレームワークを提案する。 畳み込みニューラルネットワークは、固定長の時間的パッチで動作し、短距離時間的ダイナミクスと非線形特徴相互作用を抽出する。 その後、Transformerエンコーダがパッチ間の時間依存性をモデル化し、予測を生成する。
  論文  参考訳（メタデータ） (2026-01-18T16:16:01Z)
• Context-level Language Modeling by Learning Predictive Context Embeddings [79.00607069677393]
  textbfContextLMは、固有のtextbfnext-context予測目標で標準事前学習を強化するフレームワークである。 このメカニズムは、将来のトークンチャンクから派生したエラー信号を利用して、マルチトークンコンテキストの予測表現を学ぶようモデルを訓練する。 GPT2およびPythiaモデルファミリーの実験では、1.5ドルBのパラメータまでスケールし、ContextLMがパープレキシティとダウンストリームのタスクパフォーマンスの両方で一貫した改善を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-23T07:09:45Z)
• A Time-Series Foundation Model by Universal Delay Embedding [4.221753069966852]
  本研究は,時系列予測に革命をもたらすための事前訓練された基礎モデルであるUniversal Delay Embedding (UDE)を紹介する。 観測データの動的表現としてのUDEは、ハンケル行列から2次元部分空間パッチを構成する。 特に、学習された動的表現とパッチからのクープマン作用素予測形式は例外的な解釈可能性を示す。
  論文  参考訳（メタデータ） (2025-09-15T16:11:49Z)
• The Birth of Knowledge: Emergent Features across Time, Space, and Scale in Large Language Models [3.541570601342306]
  本稿では,大言語モデル(LLM)における解釈可能な分類的特徴の出現について検討する。 機械的解釈にスパースオートエンコーダを用いることで、ニューラルアクティベーション内で特定の意味概念がいつどこで現れるかを特定する。
  論文  参考訳（メタデータ） (2025-05-26T02:59:54Z)
• Incremental Sequence Classification with Temporal Consistency [9.65650774513798]
  逐次シーケンス分類の問題に対処し、シーケンス内の新しい要素が明らかにされるにつれて予測が更新される。 逐次予測を満足する時間的整合性条件を利用して、逐次シーケンス分類器を訓練するための新しい損失関数を開発する。 以上の結果から,本手法で訓練したモデルでは,数個のトークンを観測した結果,期待できる世代と期待できない世代を区別できる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-05-22T11:37:53Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  モデルサイズ,トレーニングデータスケール,推論時間計算が生成的検索性能にどのように影響するかを検討する。 実験の結果,n-gram-based method はトレーニング法と推論法の両方と強く一致していることがわかった。 LLaMAモデルはT5モデルより一貫して優れており、生成検索におけるデコーダのみの大きなモデルに対して特に有利であることが示唆された。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Warmup Generations: A Task-Agnostic Approach for Guiding Sequence-to-Sequence Learning with Unsupervised Initial State Generation [34.55224347308013]
  シーケンシャル・ツー・シークエンス・タスクのための従来の教師付き微調整(SFT)戦略は、しばしばターゲット出力を直接生成するようにモデルを訓練する。 モデルが中間の"upwarm"シーケンスを生成可能なタスク非依存フレームワークを提案する。 提案手法は従来のSFT手法よりも優れており,シーケンシャル・ツー・シーケンス・タスクに対してスケーラブルで柔軟なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-02-17T20:23:42Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• A Novel Framework for Learning Stochastic Representations for Sequence Generation and Recognition [0.0]
  シーケンシャルなデータの生成と認識は、動的環境で動作する自律システムの基本である。 パラメトリックバイアスを用いた新しいリカレントネットワーク(RNNPB)を提案する。 我々のアプローチは、時間パターンをモデル化するためのフレームワークを提供し、人工知能とロボティクスにおける堅牢なシステムの開発を前進させる。
  論文  参考訳（メタデータ） (2024-12-30T07:27:50Z)
• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
  ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。 実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T15:17:51Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• State Sequences Prediction via Fourier Transform for Representation Learning [111.82376793413746]
  本研究では,表現表現を効率よく学習する新しい方法である,フーリエ変換(SPF)による状態列予測を提案する。 本研究では,状態系列における構造情報の存在を理論的に解析する。 実験により,提案手法はサンプル効率と性能の両面で,最先端のアルゴリズムよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-24T14:47:02Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality Assessment [93.09267863425492]
  競争力のあるスポーツビデオにおける行動の高レベル意味論と内部時間構造の両方を理解することが、予測を正確かつ解釈可能なものにする鍵である、と我々は主張する。 本研究では,多様なダイビングイベントに対して,アクションプロシージャに関する詳細なアノテーションを付加した,ファインディビングと呼ばれる詳細なデータセットを構築した。
  論文  参考訳（メタデータ） (2022-04-07T17:59:32Z)
• Learning Temporal Point Processes for Efficient Retrieval of Continuous Time Event Sequences [24.963828650935913]
  NEUROSEQRETは,あるクエリシーケンスに対して,関連する連続時間イベントシーケンスの検索とランク付けを学習する。 精度と効率のトレードオフを提供する関係モデルの2つの変種を開発する。 いくつかのデータセットを用いて行った実験では、NEUROSEQRETの精度がいくつかのベースラインを超えていることが示されている。
  論文  参考訳（メタデータ） (2022-02-17T11:16:31Z)
• Contrastively Disentangled Sequential Variational Autoencoder [20.75922928324671]
  本稿では,C-DSVAE(Contrastively Disentangled Sequential Variational Autoencoder)という新しいシーケンス表現学習手法を提案する。 我々は,静的因子と動的因子の相互情報をペナルティ化しながら,入力と潜伏因子の相互情報を最大化する新しいエビデンスローバウンドを用いる。 実験の結果、C-DSVAEは従来の最先端の手法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2021-10-22T23:00:32Z)
• Interpretable Feature Construction for Time Series Extrinsic Regression [0.028675177318965035]
  一部のアプリケーション領域では、対象変数が数値であり、その問題は時系列外部回帰(TSER)として知られている。 TSERの文脈における頑健で解釈可能な特徴構築と選択のためのベイズ法の拡張を提案する。 私たちのアプローチは、TSERに取り組むためのリレーショナルな方法を利用します:(i)、リレーショナルデータスキームに格納されている時系列の多様で単純な表現を構築し、(ii)二次テーブルからデータを「フラット化」するために解釈可能な機能を構築するためにプロポジション化技術を適用します。
  論文  参考訳（メタデータ） (2021-03-15T08:12:19Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。