論文の概要: AgentSGEN: Multi-Agent LLM in the Loop for Semantic Collaboration and GENeration of Synthetic Data
- arxiv url: http://arxiv.org/abs/2505.13466v1
- Date: Wed, 07 May 2025 22:43:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-25 10:52:49.052092
- Title: AgentSGEN: Multi-Agent LLM in the Loop for Semantic Collaboration and GENeration of Synthetic Data
- Title(参考訳): AgentSGEN: セマンティックコラボレーションと合成データの生成のためのループにおけるマルチエージェントLCM
- Authors: Vu Dinh Xuan, Hao Vo, David Murphy, Hoang D. Nguyen,
- Abstract要約: データ不足は、建設安全など、安全クリティカルなアプリケーションのためにAIシステムをトレーニングする上で、大きな障害となる。
本稿では,2つのエージェント間の反復的,ループ内協調を用いた新しいマルチエージェントフレームワークを提案する。
LLMの推論能力と常識的知識によって、この共同設計は安全クリティカルなシナリオに合わせた合成画像を生成する。
- 参考スコア(独自算出の注目度): 3.3186271052113843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The scarcity of data depicting dangerous situations presents a major obstacle to training AI systems for safety-critical applications, such as construction safety, where ethical and logistical barriers hinder real-world data collection. This creates an urgent need for an end-to-end framework to generate synthetic data that can bridge this gap. While existing methods can produce synthetic scenes, they often lack the semantic depth required for scene simulations, limiting their effectiveness. To address this, we propose a novel multi-agent framework that employs an iterative, in-the-loop collaboration between two agents: an Evaluator Agent, acting as an LLM-based judge to enforce semantic consistency and safety-specific constraints, and an Editor Agent, which generates and refines scenes based on this guidance. Powered by LLM's capabilities to reasoning and common-sense knowledge, this collaborative design produces synthetic images tailored to safety-critical scenarios. Our experiments suggest this design can generate useful scenes based on realistic specifications that address the shortcomings of prior approaches, balancing safety requirements with visual semantics. This iterative process holds promise for delivering robust, aesthetically sound simulations, offering a potential solution to the data scarcity challenge in multimedia safety applications.
- Abstract(参考訳): 危険な状況を描いたデータの不足は、建設安全などの安全上重要なアプリケーションのためにAIシステムをトレーニングする上で大きな障害となり、倫理的かつ論理的な障壁が現実世界のデータ収集を妨げる。
これにより、このギャップを埋めることのできる合成データを生成するために、エンドツーエンドのフレームワークが緊急に必要になる。
既存の手法では合成シーンを生成できるが、シーンシミュレーションに必要な意味的な深さを欠くことが多く、有効性を制限している。
そこで本稿では,LLMをベースとした判断器として機能し,セマンティック一貫性と安全性に配慮した制約を強制するEvaluator Agentと,このガイダンスに基づいてシーンを生成し,洗練するEditor Agentという,2つのエージェント間の反復的,ループ内協調を利用した新しいマルチエージェントフレームワークを提案する。
LLMの推論能力と常識的知識によって、この共同設計は安全クリティカルなシナリオに合わせた合成画像を生成する。
この設計は,従来のアプローチの欠点に対処し,安全性要件と視覚的セマンティクスのバランスをとる現実的な仕様に基づいて,有用なシーンを生成できることを示す。
この反復的なプロセスは、堅牢で美的なサウンドシミュレーションを提供することを約束しており、マルチメディア安全アプリケーションにおけるデータ不足問題に対する潜在的な解決策を提供する。
関連論文リスト
- Advancing Neural Network Verification through Hierarchical Safety Abstract Interpretation [52.626086874715284]
我々は、安全でない出力の階層構造を検証する抽象的DNN検証と呼ばれる新しい問題定式化を導入する。
出力到達可能な集合に関する抽象的解釈と推論を活用することにより,形式的検証プロセスにおいて,複数の安全性レベルを評価することができる。
我々の貢献には、新しい抽象的安全性の定式化と既存のアプローチとの関係を理論的に探求することが含まれる。
論文 参考訳(メタデータ) (2025-05-08T13:29:46Z) - Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-17T18:49:25Z) - A Flexible Large Language Models Guardrail Development Methodology Applied to Off-Topic Prompt Detection [0.0]
大規模言語モデル(LLM)は、ユーザがこれらのモデルに対して、意図した範囲を超えてタスクを実行するように促すという、オフトピー的な誤用を招きやすい。
現行のガードレールは、高い偽陽性率、限られた適応性、およびプレプロダクションでは利用できない実世界のデータを必要とする非現実性に悩まされている。
これらの課題に対処するフレキシブルでデータフリーなガードレール開発手法を導入します。
論文 参考訳(メタデータ) (2024-11-20T00:31:23Z) - Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳(メタデータ) (2024-08-06T01:20:12Z) - Concept-Guided LLM Agents for Human-AI Safety Codesign [6.603483691167379]
ジェネレーティブAIは、安全工学を含むソフトウェア工学においてますます重要になっている。
ソフトウェアシステムの複雑さと安全性を効果的に解決できる、より高度で高度なアプローチを開発することが重要です。
安全解析やヒューマンAI符号設計に大規模言語モデルを活用するための,効率的かつハイブリッドな戦略を提案する。
論文 参考訳(メタデータ) (2024-04-03T11:37:01Z) - SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。
提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。
複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳(メタデータ) (2023-12-31T04:14:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。