Fugu-MT 論文翻訳(概要): Improving Instruction Following in Language Models through Proxy-Based Uncertainty Estimation

論文の概要: Improving Instruction Following in Language Models through Proxy-Based Uncertainty Estimation

arxiv url: http://arxiv.org/abs/2405.06424v1
Date: Fri, 10 May 2024 12:14:11 GMT
ステータス: 処理完了
システム内更新日: 2024-05-13 15:48:10.048790
Title: Improving Instruction Following in Language Models through Proxy-Based Uncertainty Estimation
Title（参考訳）: プロキシに基づく不確実性推定による言語モデルにおける命令追従の改善
Authors: JoonHo Lee, Jae Oh Woo, Juree Seok, Parisa Hassanzadeh, Wooseok Jang, JuYoun Son, Sima Didari, Baruch Gutow, Heng Hao, Hankyu Moon, Wenjun Hu, Yeong-Dae Kwon, Taehee Lee, Seungjai Min,
Abstract要約: 本稿では,ペア応答の品質に対するロバストな不確実性推定を導入した不確実性認識リワードモデル(URM)を提案する。実験結果から,提案したプロキシを言語モデルトレーニングに組み込むことによる大きなメリットが示された。
参考スコア（独自算出の注目度）: 12.921225188504643
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Assessing response quality to instructions in language models is vital but challenging due to the complexity of human language across different contexts. This complexity often results in ambiguous or inconsistent interpretations, making accurate assessment difficult. To address this issue, we propose a novel Uncertainty-aware Reward Model (URM) that introduces a robust uncertainty estimation for the quality of paired responses based on Bayesian approximation. Trained with preference datasets, our uncertainty-enabled proxy not only scores rewards for responses but also evaluates their inherent uncertainty. Empirical results demonstrate significant benefits of incorporating the proposed proxy into language model training. Our method boosts the instruction following capability of language models by refining data curation for training and improving policy optimization objectives, thereby surpassing existing methods by a large margin on benchmarks such as Vicuna and MT-bench. These findings highlight that our proposed approach substantially advances language model training and paves a new way of harnessing uncertainty within language models.
Abstract（参考訳）: 言語モデルにおける命令に対する応答品質の評価は不可欠だが、異なるコンテキストにわたる人間の言語が複雑になるため困難である。この複雑さはしばしば曖昧または矛盾した解釈をもたらし、正確な評価を困難にする。この問題に対処するために,ベイズ近似に基づくペア応答の品質に対する確実な不確実性推定を導入した新しい不確実性認識リワードモデル(URM)を提案する。好みのデータセットでトレーニングされた我々の不確実性対応プロキシは、応答に対する報酬をスコアするだけでなく、その固有の不確実性を評価する。実験結果から,提案したプロキシを言語モデルトレーニングに組み込むことによる大きなメリットが示された。提案手法は,学習用データキュレーションを改良し,政策最適化の目標を改良することにより,言語モデルの命令追従能力を向上し,VicunaやMT-benchといったベンチマークにおいて既存の手法をはるかに上回っている。これらの結果から,提案手法は言語モデルトレーニングを大幅に進歩させ,言語モデル内の不確実性を活用する新たな手法を舗装することを示す。

関連論文リスト

Learning-to-Defer for Extractive Question Answering [0.0]
質問応答の文脈で言語モデルを再訓練することなく、人間の専門家や大規模モデルへの選択的推論を可能にすることにより、意思決定を強化する2段階の学習・判断機構を適応的に導入する。その結果,最小限のクエリを遅延させることで,計算効率を保ちながら,より大規模なクエリに匹敵する性能を実現することができた。
論文参考訳（メタデータ） (2024-10-21T08:21:00Z)
Counterfactuals As a Means for Evaluating Faithfulness of Attribution Methods in Autoregressive Language Models [6.394084132117747]
本稿では,自己回帰型言語モデルに対する帰属手法の忠実度を評価するために,反事実生成を利用する手法を提案する。提案手法は, 流動性, 分散性, 分散性, 分散性, 評価プロトコルの信頼性を向上する。
論文参考訳（メタデータ） (2024-08-21T00:17:59Z)
Unconditional Truthfulness: Learning Conditional Dependency for Uncertainty Quantification of Large Language Models [96.43562963756975]
対象変数が条件と非条件生成信頼度のギャップである回帰モデルを訓練する。この学習条件依存モデルを用いて、前のステップの不確実性に基づいて、現在の生成ステップの不確かさを変調する。
論文参考訳（メタデータ） (2024-08-20T09:42:26Z)
The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
論文参考訳（メタデータ） (2024-05-02T14:49:50Z)
Is Crowdsourcing Breaking Your Bank? Cost-Effective Fine-Tuning of Pre-trained Language Models with Proximal Policy Optimization [18.75866961339424]
ChatGPTは、人間のフィードバックによる強化学習の可能性を強調している。労働コストを削減するために,自己監督型テキストランキング手法を提案する。
論文参考訳（メタデータ） (2024-02-28T12:24:07Z)
Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model [75.66013048128302]
本研究では,QEモデルを報酬モデルとして活用し,フィードバックトレーニングにおける人間の嗜好を予測する可能性について検討する。まず,QEに基づくフィードバックトレーニングにおいて,翻訳品質が低下する中で,報酬の増大として現れる過度な最適化問題を同定した。問題に対処するために,ルールを用いて誤った翻訳を検知し,報酬のスコアにペナルティ項を割り当てる,シンプルで効果的な手法を採用する。
論文参考訳（メタデータ） (2024-01-23T16:07:43Z)
Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-07T12:06:53Z)
Ask Again, Then Fail: Large Language Models' Vacillations in Judgment [28.74246375289661]
我々は、現在の会話言語モデルが、フォローアップされた質問に直面すると、判断を揺るがすことが多いことを観察する。我々は、この矛盾を定量化するための2つの指標とともに、textscFollow-up Questioning Mechanismを紹介した。トレーニングベースのフレームワーク TextscUnwavering-FQ を開発した。
論文参考訳（メタデータ） (2023-10-03T16:08:41Z)
Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文参考訳（メタデータ） (2021-11-04T12:59:55Z)
Boosting Cross-Lingual Transfer via Self-Learning with Uncertainty Estimation [34.97086123805344]
最近の多言語事前訓練型言語モデルは、目覚ましいゼロショット性能を実現している。対象言語のラベルのないデータをさらに活用する自己学習フレームワークを提案する。我々は,NER(Nond Entity Recognition)とNLI(Natural Language Inference)の2つの言語間タスクについて,40言語を網羅した不確実性で評価した。
論文参考訳（メタデータ） (2021-09-01T05:26:46Z)
NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文参考訳（メタデータ） (2021-08-29T06:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。