論文の概要: Plan2Align: Predictive Planning Based Test-Time Preference Alignment for Large Language Models

• arxiv url: http://arxiv.org/abs/2502.20795v2
• Date: Tue, 27 May 2025 11:26:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 14:37:19.241456
• Title: Plan2Align: Predictive Planning Based Test-Time Preference Alignment for Large Language Models
• Title（参考訳）: Plan2Align: 大規模言語モデルのための予測計画に基づくテスト時間優先アライメント
• Authors: Kuang-Da Wang, Teng-Ruei Chen, Yu Heng Hung, Guo-Xun Ko, Shuoyang Ding, Yueh-Hua Wu, Yu-Chiang Frank Wang, Chao-Han Huck Yang, Wen-Chih Peng, Ping-Chun Hsieh,
• Abstract要約: テキスト生成を予測計画問題として定式化するテスト時間アライメントフレームワークPlan2Alignを提案する。 Plan2Alignは、複数の完全応答をロールアウトし、各セグメントを最適化することで、繰り返し出力を洗練するためにモデル予測制御(MPC)を適用する。 LLaMA-3.1 8Bの既存の訓練時間と試験時間アライメント手法と比較して、Plan2Alignは同等または優れた結果が得られる。
• 参考スコア（独自算出の注目度）: 41.51666974003913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aligning Large Language Models with Preference Fine-Tuning is often resource-intensive. Test-time alignment techniques that do not modify the underlying models, such as prompting and guided decodings, offer a lightweight alternative. However, existing test-time alignment methods primarily improve short responses and fail to ensure coherence over extended contexts due to the myopic nature of token-level alignment. Moreover, these methods often incur a slowdown during inference. To address these challenges, we propose Plan2Align, a test-time alignment framework that formulates text generation as a predictive planning problem. Plan2Align adapts Model Predictive Control (MPC) to iteratively refine output by rolling out multiple complete responses and optimizing each segment. To more rigorously evaluate the effectiveness and efficiency, we focus on the more challenging task of long-text generation. Experiments on the long-form response subset of the HH-RLHF dataset and the WMT'24 Discourse-Level Literary Translation demonstrate that Plan2Align significantly enhances the performance of base LLMs. Compared to existing training-time and test-time alignment methods on LLaMA-3.1 8B, Plan2Align achieves comparable or superior results, while also delivering improved inference efficiency relative to prior test-time alignment approaches.
• Abstract（参考訳）: 好みの微調整を伴う大規模言語モデルの調整は、しばしばリソース集約である。 プロンプトやガイド付きデコードなど、基礎となるモデルを変更しないテスト時のアライメント技術は、軽量な代替手段を提供する。 しかし、既存のテストタイムアライメント手法は、主に短い応答を改善し、トークンレベルのアライメントの神秘的な性質のため、拡張コンテキストに対するコヒーレンスを確保することができない。 さらに、これらの手法は推論中にしばしばスローダウンを引き起こす。 これらの課題に対処するために,テキスト生成を予測計画問題として定式化するテスト時アライメントフレームワークPlan2Alignを提案する。 Plan2Alignは、複数の完全応答をロールアウトし、各セグメントを最適化することで、繰り返し出力を洗練するためにモデル予測制御(MPC)を適用する。 有効性と効率をより厳密に評価するために,長文生成の課題に焦点をあてる。 HH-RLHFデータセットの長文応答サブセットとWMT'24 Discourse-Level Literary Translationの実験により、Plan2AlignはベースLLMの性能を大幅に向上させることが示された。 LLaMA-3.1 8Bの既存のトレーニング時間およびテスト時間アライメント手法と比較して、Plan2Alignは同等または優れた結果を得ると同時に、以前のテスト時間アライメント手法と比較して推論効率が向上した。

関連論文リスト

• Multilingual Contextualization of Large Language Models for Document-Level Machine Translation [30.005159724115824]
  大規模言語モデル (LLM) は文レベルの機械翻訳において高い性能を示している。 高品質な文書レベルのデータを対象とした微調整により,LLMに基づく長期文書翻訳を改善する手法を提案する。 提案手法は,文書から文書への直接翻訳やチャンクレベルの翻訳など,複数の翻訳パラダイムをサポートする。
  論文  参考訳（メタデータ） (2025-04-16T14:52:22Z)
• Towards Chapter-to-Chapter Context-Aware Literary Translation via Large Language Models [16.96647110733261]
  既存の文書レベルの翻訳データセットにおける談話現象は少ない。 既存の文書レベルのコーパスや文脈対応機械翻訳手法は、文レベルのアライメントに関する非現実的な仮定に依存している。 本稿では,Ch2Ch(チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/チャプタ/
  論文  参考訳（メタデータ） (2024-07-12T04:18:22Z)
• Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing [12.843274390224853]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクでかなりの成功を収めている。 ニューラルネットワーク翻訳における最先端性能は,まだ達成できていない。 直接翻訳者ではなく,自動編集者 (APE) としてLLMを適用することを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:22:15Z)
• Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
  本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。 そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。 我々の手法は文の埋め込みを大幅に改善できる。
  論文  参考訳（メタデータ） (2023-05-16T03:53:30Z)
• Modeling Context With Linear Attention for Scalable Document-Level Translation [72.41955536834702]
  本稿では,近年の文書翻訳における線形アテンションモデルの有効性について検討し,直流帰納バイアスを促進するためにセンデンシャルゲートで拡張する。 感性ゲーティングはIWSLTの翻訳品質をさらに向上させることを示す。
  論文  参考訳（メタデータ） (2022-10-16T03:41:50Z)
• End-to-End Training for Back-Translation with Categorical Reparameterization Trick [0.0]
  バックトランスレーションは、ニューラルネットワーク翻訳(NMT)における効果的な半教師付き学習フレームワークである 事前学習されたNMTモデルは、モノリンガル文を翻訳し、他のNMTモデルのトレーニングのために合成バイリンガル文ペアを作成する。 翻訳文の離散的性質は、情報勾配が2つのNMTモデル間で流れるのを防ぐ。
  論文  参考訳（メタデータ） (2022-02-17T06:31:03Z)
• Meta Back-translation [111.87397401837286]
  プリトレーニングされたバック翻訳モデルから擬似並列データを生成する新しい手法を提案する。 本手法は,生成する擬似並列データに対して,検証セット上で良好な処理を行うためのフォワードトランスレーションモデルを訓練するように,事前訓練されたバックトランスレーションモデルを適用するメタラーニングアルゴリズムである。
  論文  参考訳（メタデータ） (2021-02-15T20:58:32Z)
• Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond [58.80417796087894]
  多言語事前訓練言語モデル(mPTLM)による言語間適応は、主にゼロショットアプローチと翻訳に基づくアプローチの2行からなる。 本稿では、ゼロショットアプローチと翻訳に基づくアプローチを統合し、適応性能を向上させるための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-23T13:47:01Z)
• Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation [59.191079800436114]
  文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。 本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T03:38:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。