論文の概要: Frustratingly Simple Black-Box Adaptation of Language Models via Logit Bias

• arxiv url: http://arxiv.org/abs/2607.22837v1
• Date: Fri, 24 Jul 2026 18:27:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:14.889939
• Title: Frustratingly Simple Black-Box Adaptation of Language Models via Logit Bias
• Title（参考訳）: ロジットバイアスによる言語モデルの難易度の高いブラックボックス適応
• Abstract要約: APIレベルのコントロールにより、モデルのロジットをユーザ定義ベクタでバイアスすることができる。 単一コンテキストに依存しないロジットバイアスベクトルを学習するためのブラックボックス法を開発した。
• 参考スコア（独自算出の注目度）: 22.505637796473337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many organizations aim to adapt language models for internal use, both to improve performance on domain-specific tasks and to address privacy concerns around sensitive data. However, such adaptation remains non-trivial: it often requires operationally challenging fine-tuning of open-source models or ad hoc prompt optimization. We study a minimal alternative based on a simple API-level control: allowing users to bias the model's logits with a user-defined vector. We develop a black-box method for learning a single context-independent logit-bias vector, added at every decoding step, without modifying model weights or requiring gradients. Starting from a KL-regularized reinforcement learning (RL) objective, we characterize when such a fixed logit-bias vector can approximate the optimal prefix-dependent correction and derive a closed-form inverse-propensity estimator from rollouts, rewards, and token probabilities. Empirically, this simple decoding-time intervention improves over base models on mathematical and reasoning benchmarks while using far fewer trainable parameters than conventional fine-tuning. Our results suggest that learned logit bias is a lightweight mechanism for adapting language models under minimal access requirements.
• Abstract（参考訳）: 多くの組織は、ドメイン固有のタスクのパフォーマンスを改善し、センシティブなデータに関するプライバシー上の懸念に対処するため、言語モデルを内部的に使用するために適応することを目指している。 オープンソースモデルの微調整やアドホックなプロンプト最適化を運用的に行う必要がしばしばある。 ユーザ定義ベクタでモデルのロジットをバイアスする,シンプルなAPIレベルのコントロールに基づく,最小限の代替策について検討する。 モデル重みを変更したり勾配を変更したりすることなく、デコードステップ毎に追加された単一の文脈非依存のロジットバイアスベクトルを学習するためのブラックボックス法を開発した。 KL正規化強化学習(RL)の目的から、そのような固定ロジットバイアスベクトルが最適プレフィックス依存補正を近似し、ロールアウト、報酬、トークン確率から閉形式逆正当性推定器を導出できる場合の特徴付けを行う。 経験的に、この単純な復号時間介入は、従来の微調整よりも訓練可能なパラメータをはるかに少なく使用しながら、数学的および推論ベンチマークのベースモデルよりも改善する。 その結果,学習したロジットバイアスは,最小アクセス要件下で言語モデルを適応するための軽量なメカニズムであることが示唆された。

関連論文リスト

• Multimodal Large Language Models with Adaptive Preference Optimization for Sequential Recommendation [60.33386541343322]
  本稿では,Hardness-Aware とNoNoRec (HaNoRec) を併用したマルチモーダル大規模言語モデルフレームワークを提案する。 具体的には、HaNoRecは、各トレーニングサンプルの予測硬度とポリシーモデルのリアルタイム応答性の両方に基づいて、最適化重量を動的に調整する。
  論文  参考訳（メタデータ） (2025-11-24T04:10:46Z)
• Advanced Black-Box Tuning of Large Language Models with Limited API Calls [20.29862533577494]
  ブラックボックスチューニングは、より大きな言語モデル(LLM)を望ましい振る舞いに適応するための新たなパラダイムである。 限られたAPI呼び出しを持つLLMのための新しい高度なブラックボックスチューニング手法を提案する。 提案手法では,事前学習した言語モデルの精度を55.92%から86.85%に引き上げ,APIクエリの頻度を1.38%に削減する。
  論文  参考訳（メタデータ） (2025-11-13T11:32:08Z)
• PITA: Preference-Guided Inference-Time Alignment for LLM Post-Training [9.093854840532062]
  PITAはLLMのトークン生成に直接好みフィードバックを統合する新しいフレームワークである。 PITAは、微調整をせずに、推論時にトークン確率を変更するための、小さな嗜好に基づくガイダンスポリシーを学習する。 我々は,数学的推論や感情分類など,多種多様なタスクにまたがるPITAを評価する。
  論文  参考訳（メタデータ） (2025-07-26T21:46:32Z)
• Multi-Preference Lambda-weighted Listwise DPO for Small-Scale Model Alignment [5.276657230880984]
  大規模言語モデル(LLM)は、幅広い言語タスクに対して強力な一般化を示すが、しばしば人間の好みに反する出力を生成する。 直接最適化選好(DPO)は、二項選好対に対する分類タスクとしてアライメントを扱い、プロセスを単純化する。 我々は、より詳細な人間のフィードバックからモデルを学習できるマルチパラメータLambda-weighted Listwise DPOを提案する。 本手法は, 実世界の展開に適した効率, 制御可能, きめ細かな適応を実現しつつ, 標準DPOのアライメント性能を常に向上させる。
  論文  参考訳（メタデータ） (2025-06-24T16:47:17Z)
• Aligning Frozen LLMs by Reinforcement Learning: An Iterative Reweight-then-Optimize Approach [65.6966065843227]
  Iterative Reweight-then-IROは、凍結ベースモデルのRLスタイルアライメントを実行するフレームワークである。 テスト時には、値関数を使用して、検索ベースの最適化プロセスを介してベースモデル生成をガイドする。 特に、ユーザは、OpenAIの強化微調整(RFT)と同様、自身のデータセットにモデルをアライメントするためにIROを適用することができる。
  論文  参考訳（メタデータ） (2025-06-21T21:49:02Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Preference Alignment with Flow Matching [23.042382086241364]
  優先フローマッチング(PFM)は、好みに基づく強化学習(PbRL)のための新しいフレームワークである 事前訓練されたモデルの任意のクラスへの好みの統合を合理化する。 提案手法の標準PbRL目標との整合性を支持する理論的知見を提供する。
  論文  参考訳（メタデータ） (2024-05-30T08:16:22Z)
• Decoding-time Realignment of Language Models [44.54462397717971]
  そこで本研究では, 整列モデルの正則化強度をリトレーニングせずに探索し, 評価する手法を提案する。 DeRaはアライメントの度合いをコントロールし、アンアライメントモデルとアライメントモデルのスムーズな移行を可能にする。
  論文  参考訳（メタデータ） (2024-02-05T13:31:28Z)
• Tuning Language Models by Proxy [110.49482736590907]
  直接チューニングと同じ目的を達成するために,ブラックボックスLM上で動作する軽量復号時間アルゴリズムであるプロキシチューニングを導入する。 提案手法は, 小型のLMをチューニングし, 小型のLMと未チューニングのLMの予測の差を適用して, より大型の未チューニングモデルの本来の予測をチューニング方向にシフトさせる。
  論文  参考訳（メタデータ） (2024-01-16T18:49:55Z)
• Black-Box Tuning of Vision-Language Models with Effective Gradient Approximation [71.21346469382821]
  ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。 CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
  論文  参考訳（メタデータ） (2023-12-26T06:31:28Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Bayesian Attention Modules [65.52970388117923]
  実装や最適化が容易な,スケーラブルな注目バージョンを提案する。 本実験は,提案手法が対応するベースラインに対して一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-20T20:30:55Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。