論文の概要: COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement

• arxiv url: http://arxiv.org/abs/2410.09675v1
• Date: Sat, 12 Oct 2024 23:56:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 08:46:35.273345
• Title: COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement
• Title（参考訳）: COrAL: 効率的な反復リファインメントのための順序に依存しない言語モデリング
• Authors: Yuxi Xie, Anirudh Goyal, Xiaobao Wu, Xunjian Yin, Xiao Xu, Min-Yen Kan, Liangming Pan, William Yang Wang,
• Abstract要約: 反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
• 参考スコア（独自算出の注目度）: 80.18490952057125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Iterative refinement has emerged as an effective paradigm for enhancing the capabilities of large language models (LLMs) on complex tasks. However, existing approaches typically implement iterative refinement at the application or prompting level, relying on autoregressive (AR) modeling. The sequential token generation in AR models can lead to high inference latency. To overcome these challenges, we propose Context-Wise Order-Agnostic Language Modeling (COrAL), which incorporates iterative refinement directly into the LLM architecture while maintaining computational efficiency. Our approach models multiple token dependencies within manageable context windows, enabling the model to perform iterative refinement internally during the generation process. Leveraging the order-agnostic nature of COrAL, we introduce sliding blockwise order-agnostic decoding, which performs multi-token forward prediction and backward reconstruction within context windows. This allows the model to iteratively refine its outputs in parallel in the sliding block, effectively capturing diverse dependencies without the high inference cost of sequential generation. Empirical evaluations on reasoning tasks demonstrate that COrAL improves performance and inference speed, respectively, achieving absolute accuracy gains of $4.6\%$ on GSM8K and $4.0\%$ on LogiQA, along with inference speedups of up to $3.9\times$ over next-token baselines. Preliminary results on code generation indicate a drop in pass rates due to inconsistencies in order-agnostic outputs, highlighting the inherent quality--speed trade-off. Our code is publicly available at https://github.com/YuxiXie/COrAL.
• Abstract（参考訳）: 反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 しかし、既存のアプローチは、通常、アプリケーションやプロンプトレベルで反復的な改善を実装し、自己回帰(AR)モデリングに依存します。 ARモデルにおけるシーケンシャルトークン生成は、高い推論遅延を引き起こす可能性がある。 これらの課題を克服するために,計算効率を維持しつつ,反復的改善を直接LLMアーキテクチャに組み込むコンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存性をモデル化し、生成プロセス中に内部的に反復的な改善を行えるようにしています。 COrALの順序に依存しない性質を生かしたスライディングブロックワイド順序に依存しないデコーディングを導入し、コンテキストウィンドウ内で多点前方予測と後方再構成を行う。 これにより、モデルはスライディングブロック内で並列に出力を反復的に洗練し、シーケンシャルジェネレーションの高推論コストを伴わずに、多種多様な依存関係を効果的にキャプチャすることができる。 推論タスクに関する実証的な評価は、COrALがそれぞれ性能と推論速度を改善し、GSM8Kで4.6\%、LogiQAで4.0\%の絶対精度向上と、最大3.9\times$の次の基準線上での推論速度向上を実現していることを示している。 コード生成に関する予備的な結果は、順序に依存しない出力の不整合によるパスレートの低下を示し、固有の品質-速度トレードオフを浮き彫りにしている。 私たちのコードはhttps://github.com/YuxiXie/COrAL.comで公開されています。

関連論文リスト

• LANTERN: Accelerating Visual Autoregressive Models with Relaxed Speculative Decoding [30.630803933771865]
  実験により,提案手法が投機的復号化よりも大幅に高速化されたことを示す。 LANTERNは、greedyデコーディングやランダムサンプリングと比較して、$mathbf1.75times$と$mathbf1.76times$のスピードアップを増大させる。
  論文  参考訳（メタデータ） (2024-10-04T12:21:03Z)
• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Adaptive Draft-Verification for Efficient Large Language Model Decoding [24.347886232342862]
  大規模言語モデル(LLM)デコードでは、与えられたコンテキストに基づいてトークンのシーケンスを生成する。 典型的な自己回帰復号法では、生成されたトークンごとに別の前方通過が必要となる。 微調整を必要とせずにLDMデコーディングを高速化するADEDを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:20:39Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [63.77614880533488]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• PaDeLLM-NER: Parallel Decoding in Large Language Models for Named Entity Recognition [16.11114486075643]
  PaDeLLM-NERはすべての参照の同時復号化を可能にし、生成遅延を低減させる。 実験の結果、PaDeLLM-NERは英語と中国語の自己回帰手法の1.76倍から10.22倍の推論速度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-07T13:39:38Z)
• SPEED: Speculative Pipelined Execution for Efficient Decoding [35.45955948053644]
  本稿では,現在のトークンと並行して複数の将来トークンを投機的に実行することで,推論効率を向上させるSPEEDを提案する。 パラメータ共有を使用するTransformerデコーダでは、並列に実行されるトークンのメモリ操作を償却することができる。 モデル精度に対する遅延低減の観点から,本手法の有効性を実証し,パラメータ共有によるより深いデコーダのトレーニングを最小限のランタイムオーバーヘッドで行う方法を示した。
  論文  参考訳（メタデータ） (2023-10-18T16:07:01Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
  自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。 非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。 本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T20:58:57Z)
• LAVA NAT: A Non-Autoregressive Translation Model with Look-Around Decoding and Vocabulary Attention [54.18121922040521]
  非自己回帰翻訳(NAT)モデルは、1つの前方通過で複数のトークンを生成する。 これらのNATモデルは、しばしば多重性の問題に悩まされ、重複トークンや欠落トークンを生成する。 本稿では,この問題を解決するための新しい方法として,Look-Around(LA)戦略とVocabulary Attention(VA)メカニズムを提案する。
  論文  参考訳（メタデータ） (2020-02-08T04:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。