論文の概要: VAIOM: Continuous-Input, Discrete-Output Decoder-Only Financial Sequence Modeling
- arxiv url: http://arxiv.org/abs/2607.13929v1
- Date: Wed, 15 Jul 2026 15:10:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.819738
- Title: VAIOM: Continuous-Input, Discrete-Output Decoder-Only Financial Sequence Modeling
- Title（参考訳）: VAIOM: 継続的な入力、離散出力デコーダ
- Abstract要約: 直交回帰モデリングのためのベクトル入力自己回帰推論(VAIOM)を提案する。
VAIOMはデコーダのみのトランスフォーマーで、1時間の外国交換バー上での確率的逆戻りモデリングを行う。
連続的な入力は、同じカテゴリーの回帰目標の下で離散的な入力よりも改善されることを示す。
- 参考スコア（独自算出の注目度）: 5.407677397417658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Financial observations are continuous, heterogeneous, and noisy, whereas decoder-only next-token models are usually built around discrete symbolic inputs. We introduce Vector-Input Autoregressive Inference for Ordinal-Return Modeling (VAIOM), a decoder-only Transformer for probabilistic next-return modeling on one-hour foreign-exchange bars. VAIOM separates input representation from output likelihood: continuous multivariate financial-event vectors preserve numerical structure at the input, while a categorical distribution over the next volatility-normalized return bucket supports cross-entropy training and likelihood evaluation. The selected 0.9M Hybrid Continuous Input model combines continuous event features with categorical asset metadata, a Mixture-of-Market-States return head, Gap, volatility-regime, and Ordinal auxiliary objectives, and full-sequence supervision. Models and preprocessing are fit using pre-2024 Train data; models are selected on 2024H2 Validation and evaluated without refitting on two 2025 Test periods. Across three independent training seeds, every model outperforms fixed single-bar LightGBM baseline in both Test halves. For the canonical checkpoint, paired gains over LightGBM are 0.029 and 0.043 bits per event. Validation experiments show that continuous input improves over discrete-token input under the same categorical return objective, full-sequence supervision improves over last-position training, and auxiliary representation shaping together with a mixture-structured return head improves return likelihood in controlled comparisons. A supporting capacity study finds that the smallest evaluated complete architecture rung achieves the strongest Validation likelihood on the present corpus.
- Abstract（参考訳）: 金融観測は連続的で異質でノイズが多いが、デコーダのみの次トーケンモデルは通常離散的なシンボル入力を中心に構築される。
本稿では,1時間外国交換バー上での確率的次回帰モデリングのためのデコーダのみの変換器であるVector-Input Autoregressive Inference for Ordinal-Return Modeling (VAIOM)を紹介する。
連続多変量ファイナンシャル・イベントベクトルは入力時に数値構造を保存するが、次のボラティリティ正規化リターンバケット上のカテゴリー分布はクロスエントロピートレーニングと可能性評価をサポートする。
選択された0.9M Hybrid Continuous Inputモデルは、連続イベントの特徴とカテゴリ的資産メタデータ、Mixture-of-Market-States戻りヘッド、Gap、Volatility-Regime、通常の補助目標、およびフルシーケンス監視を組み合わせる。
モデルと前処理は2024年以前のデータを使用して適合し、モデルが2024H2検証で選択され、2つの2025テスト期間で再適合することなく評価される。
3つの独立したトレーニング種の中で、各モデルは両テストハーフで固定されたシングルバーのLightGBMベースラインを上回っている。
標準チェックポイントでは、LightGBMのペアゲインはイベント当たり0.029ビットと0.043ビットである。
検証実験により、連続入力は同一カテゴリーの戻り目標下での離散的な入力よりも改善され、完全系列の監督は終位置トレーニングよりも改善され、混合構造された戻りヘッドと共に補助表現が生成され、制御された比較において戻り確率が向上することが示された。
キャパシティスタディでは、評価された最小の完全なアーキテクチャラングが、現在のコーパス上で最も高いバリデーションの可能性を達成している。
関連論文リスト
- Learning-based Probabilistic Load Forecasting with Post-hoc and In-model Uncertainty [0.0]
我々は,1日ごとの確率予測フレームワークを開発した。
モジュラー・ポストホック残量学習スキームとインモデル量子学習スキームを比較した。
この結果から, 再構成された入力に依存する場合の残差量子化の限界が明らかとなった。
論文 参考訳（メタデータ） (2026-07-14T13:02:18Z) - Coupling Models for One-Step Discrete Generation [50.37847093567075]
カップリングモデル(英: Coupling Models)は、離散列とガウス列の間の直接結合を学習する一段階の離散生成モデルである。
単純なデータ間結合と手動で特定したデータ間結合による複雑な連続フローを回避する。
LM1Bテキスト生成パープレキシティを最低パープレキシティ動作ポイントで33%削減する。
論文 参考訳（メタデータ） (2026-05-08T03:40:39Z) - Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳（メタデータ） (2026-05-01T17:59:59Z) - Datarus-R1: An Adaptive Multi-Step Reasoning LLM for Automated Data Analysis [0.0]
本稿では,Qwen 2.5-14B-Instructの言語モデルであるDatarus-R1-14Bを提案する。
Datarusは、独立した問合せペアではなく、推論ステップ、コード実行、エラートレース、自己補正、最終的な結論を含む完全な分析トラジェクトリに基づいて訓練されている。
論文 参考訳（メタデータ） (2025-08-18T21:58:18Z) - Test-Time Consistency in Vision Language Models [26.475993408532304]
VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。
MM-R3のような最近のベンチマークでは、最先端のVLMでさえ意味論的に等価な入力にまたがって分岐予測をもたらすことが強調されている。
教師付き再学習なしにセマンティックな一貫性を高める,シンプルで効果的なテスト時間一貫性フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-27T17:09:44Z) - Text Generation Beyond Discrete Token Sampling [74.06071135207635]
入力の混合(Mixture of Inputs, MoI)は、自動回帰生成のためのトレーニング不要な方法である。
MoIはQwQ-32B、Nemotron-Super-49B、Gemma-3-27B、DAPO-Qwen-32Bを含む複数のモデルのパフォーマンスを継続的に改善している。
論文 参考訳（メタデータ） (2025-05-20T18:41:46Z) - Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
トークン化は、言語モデル(LM)における多くの未理解の欠点と関連している。
本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。
本稿では,学習トークン分布と等価バイトレベル分布とのマッピングを確立するフレームワークであるByte-Token Representation Lemmaを紹介する。
論文 参考訳（メタデータ） (2024-10-11T23:30:42Z) - Transformers meet Stochastic Block Models: Attention with Data-Adaptive
Sparsity and Cost [53.746169882193456]
最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。
本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。
我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
論文 参考訳（メタデータ） (2022-10-27T15:30:52Z) - Parameter Decoupling Strategy for Semi-supervised 3D Left Atrium
Segmentation [0.0]
本稿では,パラメータ分離戦略に基づく半教師付きセグメンテーションモデルを提案する。
提案手法は,Atrial Challengeデータセット上での最先端の半教師付き手法と競合する結果を得た。
論文 参考訳（メタデータ） (2021-09-20T14:51:42Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳（メタデータ） (2020-12-07T14:16:14Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳（メタデータ） (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。