論文の概要: Application-Driven Value Alignment in Agentic AI Systems: Survey and Perspectives

• arxiv url: http://arxiv.org/abs/2506.09656v1
• Date: Wed, 11 Jun 2025 12:25:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.934131
• Title: Application-Driven Value Alignment in Agentic AI Systems: Survey and Perspectives
• Title（参考訳）: エージェントAIシステムにおけるアプリケーション駆動価値アライメント:調査と展望
• Authors: Wei Zeng, Hengshu Zhu, Chuan Qin, Han Wu, Yihang Cheng, Sirui Zhang, Xiaowei Jin, Yinuo Shen, Zhenxing Wang, Feimin Zhong, Hui Xiong,
• Abstract要約: 本稿では、特定のアプリケーションシナリオにおけるエージェントシステムの値アライメントについてレビューする。 大規模なモデルによって駆動されるAIの進歩と、社会的ガバナンスの要求を統合する。
• 参考スコア（独自算出の注目度）: 29.49571891159761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ongoing evolution of AI paradigms has propelled AI research into the Agentic AI stage. Consequently, the focus of research has shifted from single agents and simple applications towards multi-agent autonomous decision-making and task collaboration in complex environments. As Large Language Models (LLMs) advance, their applications become more diverse and complex, leading to increasingly situational and systemic risks. This has brought significant attention to value alignment for AI agents, which aims to ensure that an agent's goals, preferences, and behaviors align with human values and societal norms. This paper reviews value alignment in agent systems within specific application scenarios. It integrates the advancements in AI driven by large models with the demands of social governance. Our review covers value principles, agent system application scenarios, and agent value alignment evaluation. Specifically, value principles are organized hierarchically from a top-down perspective, encompassing macro, meso, and micro levels. Agent system application scenarios are categorized and reviewed from a general-to-specific viewpoint. Agent value alignment evaluation systematically examines datasets for value alignment assessment and relevant value alignment methods. Additionally, we delve into value coordination among multiple agents within agent systems. Finally, we propose several potential research directions in this field.
• Abstract（参考訳）: AIパラダイムの継続的な進化は、エージェントAIステージに関するAI研究を推進している。 結果として、研究の焦点は、単一エージェントと単純なアプリケーションから、複雑な環境でのマルチエージェントの自律的意思決定とタスクコラボレーションへとシフトした。 大規模言語モデル(LLM)が進むにつれて、そのアプリケーションはより多様で複雑になり、状況やシステム的リスクが増大する。 このことは、エージェントの目標、嗜好、行動が人間の価値観や社会的規範と一致することを保証することを目的として、AIエージェントのバリューアライメントに大きな注目を集めている。 本稿では、特定のアプリケーションシナリオにおけるエージェントシステムの値アライメントについてレビューする。 大規模なモデルによって駆動されるAIの進歩と、社会的ガバナンスの要求を統合する。 レビューでは、価値原則、エージェントシステムアプリケーションシナリオ、エージェント値アライメントの評価について取り上げる。 具体的には、価値原則は、マクロ、メソ、マイクロレベルを含むトップダウンの観点から階層的に構成されます。 エージェントシステムのアプリケーションシナリオは、汎用的な視点から分類され、レビューされる。 エージェント値アライメント評価は、値アライメント評価と関連する値アライメント手法のためのデータセットを体系的に検討する。 さらに,エージェントシステム内の複数のエージェント間の価値調整についても検討する。 最後に,本分野におけるいくつかの研究方向を提案する。

関連論文リスト

• InfoDeepSeek: Benchmarking Agentic Information Seeking for Retrieval-Augmented Generation [63.55258191625131]
  InfoDeepSeekは、現実世界の動的Web環境でエージェント情報を求めるための新しいベンチマークである。 本稿では,決定性,難易度,多様性の基準を満たす課題クエリを構築するための体系的手法を提案する。 本研究では,情報探索結果の正確性,有用性,コンパクト性に関する詳細な指標を含む,動的エージェント情報探索に適した最初の評価フレームワークを開発する。
  論文  参考訳（メタデータ） (2025-05-21T14:44:40Z)
• AI Agents vs. Agentic AI: A Conceptual Taxonomy, Applications and Challenges [0.36868085124383626]
  この研究はAIエージェントとエージェントAIを区別し、構造化された概念分類、アプリケーションマッピング、課題分析を提供する。 ジェネレーティブAIは前駆体として位置づけられており、AIエージェントはツールの統合、エンジニアリングの促進、推論の強化を通じて前進している。 エージェントAIシステムは、マルチエージェントコラボレーション、動的タスク分解、永続メモリ、オーケストレーション自律性によって特徴付けられるパラダイムシフトを表している。
  論文  参考訳（メタデータ） (2025-05-15T16:21:33Z)
• MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents [59.825725526176655]
  大規模言語モデル(LLM)は、自律的なエージェントとして顕著な能力を示している。 既存のベンチマークでは、単一エージェントタスクにフォーカスするか、狭いドメインに限定されており、マルチエージェントのコーディネーションと競合のダイナミクスを捉えていない。 多様な対話シナリオにまたがってLLMベースのマルチエージェントシステムを評価するためのベンチマークであるMultiAgentBenchを紹介する。
  論文  参考訳（メタデータ） (2025-03-03T05:18:50Z)
• Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
  本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。 これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。 55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
  論文  参考訳（メタデータ） (2024-10-14T17:57:02Z)
• Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
  エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。 本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:09:56Z)
• Measuring Value Alignment [12.696227679697493]
  本稿では,AIシステムと人的価値の整合性を定量化する新しいフォーマリズムを提案する。 このフォーマリズムを利用することで、AI開発者と倫理学者は、人間の価値と調和して動作するように、AIシステムを設計し、評価することができる。
  論文  参考訳（メタデータ） (2023-12-23T12:30:06Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。