論文の概要: Predicting Through Generation: Why Generation Is Better for Prediction

• arxiv url: http://arxiv.org/abs/2502.17817v1
• Date: Tue, 25 Feb 2025 03:48:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 18:41:06.187995
• Title: Predicting Through Generation: Why Generation Is Better for Prediction
• Title（参考訳）: ジェネレーションによる予測:なぜジェネレーションが予測より優れているのか
• Authors: Md Kowsher, Nusrat Jahan Prottasha, Prakash Bhat, Chun-Nam Yu, Mojtaba Soltanalian, Ivan Garibay, Ozlem Garibay, Chen Chen, Niloofar Yousefi,
• Abstract要約: 本稿では,トークンレベルの生成が相互情報を保持するため,予測タスクにプール表現を使用するよりも,出力トークンの生成の方が効果的であると主張している。 PredGenは、(i)露光バイアスを減らすためにスケジュールサンプリングを使用するエンド・ツー・エンドのフレームワークで、(ii)生成されたトークンを構造化された出力に変換するタスクアダプタを導入します。 以上の結果から,PredGenは標準ベースラインを一貫して上回り,構造化予測タスクの有効性を示した。
• 参考スコア（独自算出の注目度）: 10.098410272203301
• License:
• Abstract: This paper argues that generating output tokens is more effective than using pooled representations for prediction tasks because token-level generation retains more mutual information. Since LLMs are trained on massive text corpora using next-token prediction, generation aligns naturally with their learned behavior. Using the Data Processing Inequality (DPI), we provide both theoretical and empirical evidence supporting this claim. However, autoregressive models face two key challenges when used for prediction: (1) exposure bias, where the model sees ground truth tokens during training but relies on its own predictions during inference, leading to errors, and (2) format mismatch, where discrete tokens do not always align with the tasks required output structure. To address these challenges, we introduce PredGen(Predicting Through Generating), an end to end framework that (i) uses scheduled sampling to reduce exposure bias, and (ii) introduces a task adapter to convert the generated tokens into structured outputs. Additionally, we introduce Writer-Director Alignment Loss (WDAL), which ensures consistency between token generation and final task predictions, improving both text coherence and numerical accuracy. We evaluate PredGen on multiple classification and regression benchmarks. Our results show that PredGen consistently outperforms standard baselines, demonstrating its effectiveness in structured prediction tasks.
• Abstract（参考訳）: 本稿では,トークンレベルの生成が相互情報を保持するため,予測タスクにプール表現を使用するよりも,出力トークンの生成の方が効果的であると主張している。 LLMは、次世代の予測を用いて大量のテキストコーパスで訓練されているため、生成は学習行動と自然に一致している。 データ処理の不平等(DPI)を用いて、この主張を支持する理論的および実証的な証拠を提供する。 しかし, 自己回帰モデルでは, 1) 被曝バイアス, モデルがトレーニング中に真理トークンを観測するが, 推論中に独自の予測に依存し, エラーにつながる, (2) 離散トークンが必ずしも出力構造を必要とするタスクと一致しない,という2つの重要な課題に直面している。 これらの課題に対処するために、私たちは、エンドツーエンドのフレームワークであるPredGen(Predicting Through Generating)を紹介します。 一 予定サンプリングを用いて露光バイアスを低減し、 (ii) 生成されたトークンを構造化出力に変換するタスクアダプタを導入する。 さらに,トークン生成と最終タスク予測の整合性を保証し,テキストのコヒーレンスと数値精度を向上する Writer-Director Alignment Loss (WDAL) を導入する。 複数の分類および回帰ベンチマークでPredGenを評価する。 以上の結果から,PredGenは標準ベースラインを一貫して上回り,構造化予測タスクの有効性を示した。

関連論文リスト

• Improving Next Tokens via Second-to-Last Predictions with Generate and Refine [1.8592384822257952]
  トークン列の2番目から最後のトークンを予測するために,デコーダのみのアーキテクチャをトレーニングする。 提案手法により,BERTモデルよりも高い計算訓練効率が得られる。
  論文  参考訳（メタデータ） (2024-11-23T22:09:58Z)
• Bridging the Training-Inference Gap in LLMs by Leveraging Self-Generated Tokens [45.745443096804586]
  言語モデルは、トレーニングデータセットで過去のトークンが与えられた次のトークンの可能性を最大化するためにしばしば訓練される。 推論時間の間は、前述したトークンを入力として次のトークンを予測することによって、テキストを逐次かつ自動回帰的に生成する。 本稿では、モデル自己生成に基づく2つの簡単なアプローチを提案し、この訓練時間と推論時間との相違に対処する。
  論文  参考訳（メタデータ） (2024-10-18T17:48:27Z)
• TokenUnify: Scalable Autoregressive Visual Pre-training with Mixture Token Prediction [61.295716741720284]
  TokenUnifyは、ランダムトークン予測、次のトークン予測、次のトークン予測を統合する新しい事前学習手法である。 TokenUnifyと共同で,超高解像度の大規模電子顕微鏡画像データセットを構築した。 このデータセットには1億2000万以上の注釈付きボクセルが含まれており、これまでで最大のニューロンセグメンテーションデータセットとなっている。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• ELMER: A Non-Autoregressive Pre-trained Language Model for Efficient and Effective Text Generation [97.64625999380425]
  事前学習言語モデル(PLM)のアプローチによるテキスト生成タスクについて検討する。 早期出口技術を活用することで、ELMERは予測信頼度に応じて異なるレイヤでのトークン生成を可能にする。 3つのテキスト生成タスクの実験では、EMMERはNARモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-24T14:46:47Z)
• Complex Event Forecasting with Prediction Suffix Trees: Extended Technical Report [70.7321040534471]
  複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。 このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。 複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-01T09:52:31Z)
• Aligned Contrastive Predictive Coding [10.521845940927163]
  対照的予測損失を用いて訓練された自己監督モデルが、ゆっくりと変化する潜在表現を抽出する可能性を研究する。 将来の表現ごとに個別の予測を生成するのではなく、モデルはそれらが整列する次の表現よりも短い一連の予測を出力する。
  論文  参考訳（メタデータ） (2021-04-24T13:07:22Z)
• FiD-Ex: Improving Sequence-to-Sequence Models for Extractive Rationale Generation [19.73842483996047]
  本研究では,セq2seqモデルの欠点に対処するFiD-Exを開発した。 FiD-Exは、ERASER説明可能性ベンチマークの複数のタスクにおける説明基準とタスク精度の観点から、以前の作業よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-12-31T07:22:15Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)
• ProphetNet: Predicting Future N-gram for Sequence-to-Sequence Pre-training [85.35910219651572]
  本稿ではProphetNetと呼ばれる新しいシーケンス・ツー・シーケンス事前学習モデルを提案する。 将来的なn-gram予測という,新たな自己教師型目標を導入している。 我々は,CNN/DailyMail,Gigaword,SQuAD 1.1ベンチマークを用いて,抽象的な要約と質問生成タスクの実験を行った。
  論文  参考訳（メタデータ） (2020-01-13T05:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。