論文の概要: Training LLM Agents to Empower Humans

• arxiv url: http://arxiv.org/abs/2510.13709v2
• Date: Thu, 16 Oct 2025 03:39:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 11:58:42.090189
• Title: Training LLM Agents to Empower Humans
• Title（参考訳）: 人間を力づけるLSMエージェントの訓練
• Authors: Evan Ellis, Vivek Myers, Jens Tuyls, Sergey Levine, Anca Dragan, Benjamin Eysenbach,
• Abstract要約: 本稿では,人間のエンパワーメントの最大化に基づく支援言語モデルのチューニング手法を提案する。 我々のエンパワーメント最大化手法であるEmpowerは、オフラインのテキストデータのみを必要とする。 我々は,Empowerで訓練されたエージェントが,プログラミング問題に挑戦する人間プログラマの成功率を平均192%向上させることを示す。
• 参考スコア（独自算出の注目度）: 67.80021254324294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Assistive agents should not only take actions on behalf of a human, but also step out of the way and cede control when there are important decisions to be made. However, current methods for building assistive agents, whether via mimicking expert humans or via RL finetuning on an inferred reward, often encourage agents to complete tasks on their own rather than truly assisting the human attain their objectives. Additionally, these methods often require costly explicit human feedback to provide a training signal. We propose a new approach to tuning assistive language models based on maximizing the human's empowerment, their ability to effect desired changes in the environment. Our empowerment-maximizing method, Empower, only requires offline text data, providing a self-supervised method for fine-tuning language models to better assist humans. To study the efficacy of our approach, we conducted an 18-person user study comparing our empowerment assistant with a strong baseline. Participants preferred our assistant 78% of the time (p=0.015), with a 31% higher acceptance rate and 38% fewer suggestions. Additionally, we introduce a new environment for evaluating multi-turn code assistance using simulated humans. Using this environment, we show that agents trained with Empower increase the success rate of a simulated human programmer on challenging coding questions by an average of 192% over an SFT baseline. With this empowerment objective, we provide a framework for useful aligned AI agents at scale using only offline data without the need for any additional human feedback or verifiable rewards.
• Abstract（参考訳）: 補助的エージェントは、人間のために行動を取るだけでなく、道から踏み出し、重要な決定がなされたときに制御を譲るべきである。 しかし、現在では、専門家の人間を模倣したり、推論された報酬をRLで微調整したりして、エージェントが真に人間に目的を達成させるのではなく、自分自身でタスクを完了させることが奨励されている。 さらに、これらの手法は訓練信号を提供するのに、費用がかかる人間のフィードバックを必要とすることが多い。 本研究では,人間のエンパワーメントの最大化と,環境に望ましい変化をもたらす能力に基づいて,支援言語モデルをチューニングするための新しいアプローチを提案する。 我々のエンパワーメント最大化手法であるEmpowerは、オフラインのテキストデータのみを必要とする。 提案手法の有効性を検討するために,パワーメントアシスタントと強力なベースラインを比較した18人のユーザスタディを行った。 参加者は, 回答率31%, 提案率38%の78%(p=0.015)を希望した。 さらに、シミュレーションされた人間を用いて、マルチターンコードアシストを評価するための新しい環境についても紹介する。 本研究では,Empowerで訓練されたエージェントが,SFTベースライン上で平均192%のコーディング問題に対して,シミュレーションされたプログラマの成功率を増加させることを示す。 この権限付与の目的により、人間の追加的なフィードバックや検証可能な報酬を必要とせずに、オフラインデータのみを使用して、大規模なAIエージェントを協調する有用なフレームワークを提供する。

関連論文リスト

• HumanAgencyBench: Scalable Evaluation of Human Agency Support in AI Assistants [5.4831302830611195]
  エージェントの哲学的・科学的理論とAIを用いた評価手法を統合することにより、人間エージェントの考え方を発展させる。 我々は、典型的なAIのユースケースに基づいて、6次元の人間エージェントを持つスケーラブルで適応的なベンチマークであるHumanBench(HAB)を開発した。
  論文  参考訳（メタデータ） (2025-09-10T11:10:10Z)
• GUIDE: Real-Time Human-Shaped Agents [4.676987516944155]
  リアルタイム強化学習のためのGUIDEを紹介した。 人間のフィードバックが10分しかなく、我々のアルゴリズムはRLベースラインと比較して最大30%の成功率を達成できる。
  論文  参考訳（メタデータ） (2024-10-19T18:59:39Z)
• Enabling Language Models to Implicitly Learn Self-Improvement [49.16868302881804]
  大規模言語モデル(LLM)は、オープンエンドテキスト生成タスクにおいて顕著な機能を示した。 我々は、人間の嗜好データから改善目標を暗黙的に学習するImPlicit Self-ImprovemenT(PIT)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-02T04:29:40Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)
• Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback [16.268581985382433]
  人工知能の重要な目標は、人間と自然に対話し、フィードバックから学ぶことができるエージェントを作ることである。 ここでは、人間のフィードバックから強化学習を用いて、シミュレーションされたエンボディエージェントを改善する方法を紹介する。
  論文  参考訳（メタデータ） (2022-11-21T16:00:31Z)
• Human Decision Makings on Curriculum Reinforcement Learning with Difficulty Adjustment [52.07473934146584]
  我々は,カリキュラム強化学習結果を,人的意思決定プロセスから学ぶことで,難しすぎず,難しすぎるような望ましいパフォーマンスレベルに導く。 本システムは非常に並列化可能であり,大規模強化学習アプリケーションの訓練が可能となる。 強化学習性能は、人間の所望の難易度と同期してうまく調整できることが示される。
  論文  参考訳（メタデータ） (2022-08-04T23:53:51Z)
• Learning to Assist Agents by Observing Them [41.74498230885008]
  動作の表現を生成する能力は、まずオフラインデータで事前訓練される。 我々は、補助エージェントが補助された人工エージェントの環境を操作できるグリッドワールドで設定をテストする。
  論文  参考訳（メタデータ） (2021-10-04T10:38:59Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• AvE: Assistance via Empowerment [77.08882807208461]
  そこで我々は,人間の環境制御能力を高めることで,支援のための新しいパラダイムを提案する。 このタスクに依存しない目的は、個人の自律性と最終的な状態を達成する能力を維持する。
  論文  参考訳（メタデータ） (2020-06-26T04:40:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。