論文の概要: Uncovering Factor Level Preferences to Improve Human-Model Alignment

• arxiv url: http://arxiv.org/abs/2410.06965v2
• Date: Sun, 24 Nov 2024 13:43:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:17:13.666019
• Title: Uncovering Factor Level Preferences to Improve Human-Model Alignment
• Title（参考訳）: ヒューマンモデルアライメント改善のための因子レベル設定の解明
• Authors: Juhyun Oh, Eunsu Kim, Jiseon Kim, Wenda Xu, Inha Cha, William Yang Wang, Alice Oh,
• Abstract要約: PROFILEは、好みを駆動する特定の要因の影響を明らかにし、定量化するフレームワークである。 ProFILE の因子レベル分析は、人間モデルのアライメントと不適応の背後にある 'なぜ' を説明している。 我々は、不整合要因に対処するなど、要因レベルの洞察の活用が、人間の嗜好との整合性をいかに改善するかを実証する。
• 参考スコア（独自算出の注目度）: 58.50191593880829
• License:
• Abstract: Despite advancements in Large Language Model (LLM) alignment, understanding the reasons behind LLM preferences remains crucial for bridging the gap between desired and actual behavior. LLMs often exhibit biases or tendencies that diverge from human preferences, such as favoring certain writing styles or producing overly verbose outputs. However, current methods for evaluating preference alignment often lack explainability, relying on coarse-grained comparisons. To address this, we introduce PROFILE (PRObing Factors of InfLuence for Explainability), a novel framework that uncovers and quantifies the influence of specific factors driving preferences. PROFILE's factor level analysis explains the 'why' behind human-model alignment and misalignment, offering insights into the direction of model improvement. We apply PROFILE to analyze human and LLM preferences across three tasks: summarization, helpful response generation, and document-based question-answering. Our factor level analysis reveals a substantial discrepancy between human and LLM preferences in generation tasks, whereas LLMs show strong alignment with human preferences in evaluation tasks. We demonstrate how leveraging factor level insights, including addressing misaligned factors or exploiting the generation-evaluation gap, can improve alignment with human preferences. This work underscores the importance of explainable preference analysis and highlights PROFILE's potential to provide valuable training signals, driving further improvements in human-model alignment.
• Abstract（参考訳）: LLM(Large Language Model)のアライメントの進歩にもかかわらず、LLMの好みの背景にある理由を理解することは、望ましい行動と実際の行動のギャップを埋めるのに不可欠である。 LLMは、特定の書き方を好むか、過度に冗長なアウトプットを生成するなど、人間の好みから逸脱するバイアスや傾向を示すことが多い。 しかしながら、現在の選好アライメント評価手法は、粗い粒度の比較に依存するため、説明可能性に欠けることが多い。 これを解決するために,特定要因の影響を解明し,定量化する新しいフレームワーク PROFILE (PRObing Factors of InfLuence for Explainability) を紹介する。 PROFILE の因子レベル分析は、モデル改善の方向性に関する洞察を与えながら、人間のモデルアライメントと不適応の背後にある 'なぜ' なのかを説明している。 PROFILEを用いて、要約、有用な応答生成、文書ベースの質問応答という3つのタスクにまたがる人間とLLMの嗜好を分析する。 我々の因子レベルの分析では、生成タスクにおける人間とLLMの選好とはかなりの相違が示され、一方、LLMは評価タスクにおける人間の選好と強く一致している。 本研究では,不整合要因への対処や世代評価ギャップの活用など,要因レベルの洞察の活用が,人間の嗜好との整合性を改善することを実証する。 この研究は、説明可能な嗜好分析の重要性を強調し、PROFILEが有意義なトレーニング信号を提供する可能性を強調し、人間のモデルアライメントをさらに改善させる。

関連論文リスト

• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments [41.25558612970942]
  大規模言語モデル (LLMs) が優先バイアスを示し, 設計に敏感であることを示す。 この現象に触発された自動ゼロショット評価指向のプロンプト最適化フレームワークZEPOを提案する。
  論文  参考訳（メタデータ） (2024-06-17T09:48:53Z)
• A Survey on Human Preference Learning for Large Language Models [81.41868485811625]
  近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。 本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
  論文  参考訳（メタデータ） (2024-06-17T03:52:51Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。 LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。 我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
  大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。 しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。 本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T22:49:43Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• DecipherPref: Analyzing Influential Factors in Human Preference Judgments via GPT-4 [28.661237196238996]
  我々はOpenAIから解放された一対の人的判断の収集を詳細に調査する。 最も好まれる要因はタスクやジャンルによって異なり、最も好まれない要因は一貫性がある傾向にある。 本研究は,人間の嗜好評価におけるバランスの取れたデータセットの構築に影響を及ぼすものである。
  論文  参考訳（メタデータ） (2023-05-24T04:13:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。