論文の概要: Token-level Accept or Reject: A Micro Alignment Approach for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.19743v2
• Date: Tue, 27 May 2025 04:07:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 14:37:20.247268
• Title: Token-level Accept or Reject: A Micro Alignment Approach for Large Language Models
• Title（参考訳）: Token-level Accept or Reject: 大規模言語モデルに対するマイクロアライメントアプローチ
• Authors: Yang Zhang, Yu Yu, Bo Tang, Yu Zhu, Chuxiong Sun, Wenqiang Wei, Jie Hu, Zipeng Xie, Zhiyu Li, Feiyu Xiong, Edward Chung,
• Abstract要約: マイクロトークンレベルのアクセプション・アライニング(MARA)は、言語モデルとは独立して動作するように設計されている。 MARAは、文レベルの選好学習をトークンレベルのバイナリ分類に分解することで、アライメントプロセスを単純化する。 実験により,MARAは計算コストを削減しつつアライメント性能を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 19.33837862511752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of Large Language Models (LLMs), aligning these models with human preferences and values is critical to ensuring ethical and safe applications. However, existing alignment techniques such as RLHF or DPO often require direct fine-tuning on LLMs with billions of parameters, resulting in substantial computational costs and inefficiencies. To address this, we propose Micro token-level Accept-Reject Aligning (MARA) approach designed to operate independently of the language models. MARA simplifies the alignment process by decomposing sentence-level preference learning into token-level binary classification, where a compact three-layer fully-connected network determines whether candidate tokens are "Accepted" or "Rejected" as part of the response. Extensive experiments across seven different LLMs and three open-source datasets show that MARA achieves significant improvements in alignment performance while reducing computational costs. The source code and implementation details are publicly available at https://github.com/IAAR-Shanghai/MARA, and the trained models are released at https://huggingface.co/IAAR-Shanghai/MARA_AGENTS.
• Abstract（参考訳）: LLM(Large Language Models)の急速な開発によって、これらのモデルを人間の好みや価値観と整合させることは、倫理的かつ安全なアプリケーションを確保する上で重要である。 しかし、RLHFやDPOのような既存のアライメント技術では、数十億のパラメータを持つLLMを直接微調整する必要があることが多く、計算コストと非効率性がかなり高い。 そこで本稿では,マイクロトークンレベルのアクセプション・アライニング(MARA)アプローチを提案する。 MARAは、文レベルの選好学習をトークンレベルのバイナリ分類に分解することで、アライメントプロセスを単純化する。 7つの異なるLLMと3つのオープンソースデータセットにわたる大規模な実験により、MARAは計算コストを削減しつつアライメント性能を大幅に改善した。 ソースコードと実装の詳細はhttps://github.com/IAAR-Shanghai/MARAで公開されており、トレーニングされたモデルはhttps://huggingface.co/IAAR-Shanghai/MARA_AGENTSでリリースされている。

関連論文リスト

• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• Magneto: Combining Small and Large Language Models for Schema Matching [8.387623375871055]
  小型言語モデル (SLM) は訓練データと大規模言語モデル (LLM) を必要とする。 我々は、スキーママッチングのための費用効率が高く正確なソリューションであるMagnetoを提案する。
  論文  参考訳（メタデータ） (2024-12-11T08:35:56Z)
• Efficient Self-Improvement in Multimodal Large Language Models: A Model-Level Judge-Free Approach [31.654345704242512]
  本稿では,新しいモデルレベルの判断自由自己改善フレームワークを提案する。 本手法では,検証ループにおけるMLLMの必要性を解消しつつ,制御されたフィードバック機構を用いる。 計算要求が大幅に小さく、精度とリコールの精度が向上する。
  論文  参考訳（メタデータ） (2024-11-26T00:44:37Z)
• Adaptive Draft-Verification for Efficient Large Language Model Decoding [24.347886232342862]
  大規模言語モデル(LLM)デコードでは、与えられたコンテキストに基づいてトークンのシーケンスを生成する。 典型的な自己回帰復号法では、生成されたトークンごとに別の前方通過が必要となる。 微調整を必要とせずにLDMデコーディングを高速化するADEDを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:20:39Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [50.9692060692705]
  本稿では、オフラインRL用の決定変換器をベースとした一般的なフレームワークである、$textbfMo$tion Control(textbfLaMo$)のための$textbfLanguage Modelsを紹介する。 私たちのフレームワークは4つの重要なコンポーネントを強調しています。 逐次事前学習したLMを用いた決定変換器の初期化(2)LoRA微細調整法を用いて 特に,本手法は,限られたデータサンプルを持つシナリオにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-31T16:24:17Z)
• Mixture of Soft Prompts for Controllable Data Generation [21.84489422361048]
  直接予測ではなく,データ拡張のためのツールとして,ソフトプロンプトの混合(MSP)を提案する。 提案手法は, 強いベースラインと比較した場合の3つのベンチマークに対して, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-03-02T21:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。