論文の概要: Interpreting Language Reward Models via Contrastive Explanations

• arxiv url: http://arxiv.org/abs/2411.16502v1
• Date: Mon, 25 Nov 2024 15:37:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:09.848169
• Title: Interpreting Language Reward Models via Contrastive Explanations
• Title（参考訳）: コントラスト的説明による言語リワードモデルの解釈
• Authors: Junqi Jiang, Tom Bewley, Saumitra Mishra, Freddy Lecue, Manuela Veloso,
• Abstract要約: リワードモデル(RM)は、大きな言語モデル(LLM)出力と人間の値のアライメントにおいて重要な要素である。 本稿では,RM によるバイナリ応答比較について,対照的な説明を用いて説明することを提案する。
• 参考スコア（独自算出の注目度）: 14.578645682339983
• License:
• Abstract: Reward models (RMs) are a crucial component in the alignment of large language models' (LLMs) outputs with human values. RMs approximate human preferences over possible LLM responses to the same prompt by predicting and comparing reward scores. However, as they are typically modified versions of LLMs with scalar output heads, RMs are large black boxes whose predictions are not explainable. More transparent RMs would enable improved trust in the alignment of LLMs. In this work, we propose to use contrastive explanations to explain any binary response comparison made by an RM. Specifically, we generate a diverse set of new comparisons similar to the original one to characterise the RM's local behaviour. The perturbed responses forming the new comparisons are generated to explicitly modify manually specified high-level evaluation attributes, on which analyses of RM behaviour are grounded. In quantitative experiments, we validate the effectiveness of our method for finding high-quality contrastive explanations. We then showcase the qualitative usefulness of our method for investigating global sensitivity of RMs to each evaluation attribute, and demonstrate how representative examples can be automatically extracted to explain and compare behaviours of different RMs. We see our method as a flexible framework for RM explanation, providing a basis for more interpretable and trustworthy LLM alignment.
• Abstract（参考訳）: リワードモデル(RM)は、大きな言語モデル(LLM)出力と人間の値のアライメントにおいて重要な要素である。 RMは、報酬スコアを予測し比較することにより、LLM応答が同じプロンプトに反応する可能性よりも人間の好みを近似する。 しかしながら、これらは通常スカラー出力ヘッドを持つLLMの修正版であるため、RMは説明不能な大きなブラックボックスである。 より透明なRMは、LCMのアライメントの信頼性を向上させる。 そこで本研究では,RM によるバイナリ応答比較について,コントラッシブな説明を用いて説明することを提案する。 具体的には、RMの局所的な挙動を特徴付けるために、元のものと類似した多様な新しい比較結果を生成する。 新たな比較結果を構成する摂動応答を生成し,手動で特定された高レベル評価属性を明示的に修正し,RMの挙動解析を基礎とする。 定量的実験では,高品質なコントラスト的説明を見つけるための手法の有効性を検証した。 次に,各評価属性に対するRMのグローバル感度を調査するための手法の質的有用性を示すとともに,代表例を自動的に抽出して異なるRMの挙動を説明・比較する方法を実証する。 我々はこの手法をRM説明のための柔軟なフレームワークとして捉えており、より解釈可能で信頼性の高いLCMアライメントの基礎を提供する。

関連論文リスト

• Guide-to-Explain for Controllable Summarization [11.904090197598505]
  大規模言語モデル (LLMs) による制御可能な要約は未定である。 制御可能な要約のためのガイド・ツー・説明フレームワーク(GTE)を提案する。 我々のフレームワークは、初期ドラフトで間違った属性を識別し、前回の出力でエラーを説明するのに役立てます。
  論文  参考訳（メタデータ） (2024-11-19T12:36:02Z)
• Rationale Behind Essay Scores: Enhancing S-LLM's Multi-Trait Essay Scoring with Rationale Generated by LLMs [2.324913904215885]
  本稿では,Rationale-based Multiple Trait Scoring (RMTS)について紹介する。 RMTSは、プロンプトエンジニアリングに基づく大規模言語モデル(LLM)と、より小さな大規模言語モデル(S-LLM)を用いた微調整ベースのエッセイスコアモデルを統合する。 ASAP、ASAP++、Feedback Prizeなどのベンチマークデータセットの実験では、RMTSが特性特異的スコアリングにおいて最先端のモデルとバニラS-LLMを著しく上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-10-18T06:35:17Z)
• RMB: Comprehensively Benchmarking Reward Models in LLM Alignment [44.84304822376291]
  リワードモデル(RM)は、大きな言語モデル(LLM)のアライメントをガイドする。 我々は、49以上の実世界のシナリオをカバーする包括的なRMベンチマークであるRMBを提案する。 ベンチマークに基づいて、最先端のRMについて広範な分析を行う。
  論文  参考訳（メタデータ） (2024-10-13T16:06:54Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Interpretable Preferences via Multi-Objective Reward Modeling and Mixture-of-Experts [23.27203570485055]
  人からのフィードバックから強化学習(RLHF)が,大規模言語モデルと人間の嗜好を整合させる主要な手法として登場した。 多次元絶対値データを用いて報酬モデル(RM)を訓練するための2段階の手法を提案する。 我々は、Llama-3 8BでArmoRMを効率よく訓練し、ArmoRMの上部の浅い部分からなるゲーティングネットワークを構築した。
  論文  参考訳（メタデータ） (2024-06-18T17:58:28Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)
• Confronting Reward Model Overoptimization with Constrained RLHF [114.71591361764547]
  成分RM間の相関がこれらの点の位置に有意な影響を及ぼすことを示す。 ラグランジュ乗算器によって自然に表現される動的重みを学習することで、成分RMの重み付けの問題に対処する。
  論文  参考訳（メタデータ） (2023-10-06T16:59:17Z)
• Manifold Characteristics That Predict Downstream Task Performance [2.642698101441705]
  表現多様体を直接調べることで、メソッド間の差異をより明確に理解できることが示される。 異なるRMを計測・比較するためのフレームワークと新しいメトリクスを提案する。 自己教師型手法は,変化が大きなが一定の大きさの変化をもたらすようなRMを学習し,完全な教師型手法よりもスムーズなRMを示す。
  論文  参考訳（メタデータ） (2022-05-16T06:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。