論文の概要: Training LLM Agents to Empower Humans

• arxiv url: http://arxiv.org/abs/2510.13709v1
• Date: Wed, 15 Oct 2025 16:09:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.755222
• Title: Training LLM Agents to Empower Humans
• Title（参考訳）: 人間を力づけるLSMエージェントの訓練
• Authors: Evan Ellis, Vivek Myers, Jens Tuyls, Sergey Levine, Anca Dragan, Benjamin Eysenbach,
• Abstract要約: 本稿では,人間のエンパワーメントの最大化に基づく支援言語モデルのチューニング手法を提案する。 我々のエンパワーメント最大化手法であるEmpowerは、オフラインのテキストデータのみを必要とする。 我々は,Empowerで訓練されたエージェントが,プログラミング問題に挑戦する人間プログラマの成功率を平均192%向上させることを示す。
• 参考スコア（独自算出の注目度）: 67.80021254324294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Assistive agents should not only take actions on behalf of a human, but also step out of the way and cede control when there are important decisions to be made. However, current methods for building assistive agents, whether via mimicking expert humans or via RL finetuning on an inferred reward, often encourage agents to complete tasks on their own rather than truly assisting the human attain their objectives. Additionally, these methods often require costly explicit human feedback to provide a training signal. We propose a new approach to tuning assistive language models based on maximizing the human's empowerment, their ability to effect desired changes in the environment. Our empowerment-maximizing method, Empower, only requires offline text data, providing a self-supervised method for fine-tuning language models to better assist humans. To study the efficacy of our approach, we conducted an 18-person user study comparing our empowerment assistant with a strong baseline. Participants preferred our assistant 78% of the time (p=0.015), with a 31% higher acceptance rate and 38% fewer suggestions. Additionally, we introduce a new environment for evaluating multi-turn code assistance using simulated humans. Using this environment, we show that agents trained with Empower increase the success rate of a simulated human programmer on challenging coding questions by an average of 192% over an SFT baseline. With this empowerment objective, we provide a framework for useful aligned AI agents at scale using only offline data without the need for any additional human feedback or verifiable rewards.
• Abstract（参考訳）: 補助的エージェントは、人間のために行動を取るだけでなく、道から踏み出し、重要な決定がなされたときに制御を譲るべきである。 しかし、現在では、専門家の人間を模倣したり、推論された報酬をRLで微調整したりして、エージェントが真に人間に目的を達成させるのではなく、自分自身でタスクを完了させることが奨励されている。 さらに、これらの手法は訓練信号を提供するのに、費用がかかる人間のフィードバックを必要とすることが多い。 本研究では,人間のエンパワーメントの最大化と,環境に望ましい変化をもたらす能力に基づいて,支援言語モデルをチューニングするための新しいアプローチを提案する。 我々のエンパワーメント最大化手法であるEmpowerは、オフラインのテキストデータのみを必要とする。 提案手法の有効性を検討するために,パワーメントアシスタントと強力なベースラインを比較した18人のユーザスタディを行った。 参加者は, 回答率31%, 提案率38%の78%(p=0.015)を希望した。 さらに、シミュレーションされた人間を用いて、マルチターンコードアシストを評価するための新しい環境についても紹介する。 本研究では,Empowerで訓練されたエージェントが,SFTベースライン上で平均192%のコーディング問題に対して,シミュレーションされたプログラマの成功率を増加させることを示す。 この権限付与の目的により、人間の追加的なフィードバックや検証可能な報酬を必要とせずに、オフラインデータのみを使用して、大規模なAIエージェントを協調する有用なフレームワークを提供する。

関連論文リスト

• GUIDE: Real-Time Human-Shaped Agents [4.676987516944155]
  リアルタイム強化学習のためのGUIDEを紹介した。 人間のフィードバックが10分しかなく、我々のアルゴリズムはRLベースラインと比較して最大30%の成功率を達成できる。
  論文  参考訳（メタデータ） (2024-10-19T18:59:39Z)
• Enabling Language Models to Implicitly Learn Self-Improvement [49.16868302881804]
  大規模言語モデル(LLM)は、オープンエンドテキスト生成タスクにおいて顕著な機能を示した。 我々は、人間の嗜好データから改善目標を暗黙的に学習するImPlicit Self-ImprovemenT(PIT)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-02T04:29:40Z)
• AvE: Assistance via Empowerment [77.08882807208461]
  そこで我々は,人間の環境制御能力を高めることで,支援のための新しいパラダイムを提案する。 このタスクに依存しない目的は、個人の自律性と最終的な状態を達成する能力を維持する。
  論文  参考訳（メタデータ） (2020-06-26T04:40:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。