論文の概要: AgentPS: Agentic Process Supervision for Multi-modal Content Quality Assurance through Multi-round QA

• arxiv url: http://arxiv.org/abs/2412.15251v1
• Date: Sun, 15 Dec 2024 04:58:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 18:46:08.63369
• Title: AgentPS: Agentic Process Supervision for Multi-modal Content Quality Assurance through Multi-round QA
• Title（参考訳）: エージェントPS:マルチラウンドQAによるマルチモーダルコンテンツ品質保証のためのエージェントプロセススーパービジョン
• Authors: Gorden Liu, Yu Sun, Ruixiao Sun, Xin Dong, Hongyu Xiong,
• Abstract要約: textitAgentPSは、エージェントプロセススーパービジョンをMLLMに統合する新しいフレームワークである。 textitAgentPSは、プロプライエタリなTikTokデータセット上でのベースラインMLLMよりも大幅なパフォーマンス向上を示している。
• 参考スコア（独自算出の注目度）: 9.450927573476822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advanced processing and reasoning capabilities of multimodal large language models (MLLMs) have driven substantial progress in vision-language (VL) understanding tasks. However, while effective for tasks governed by straightforward logic, MLLMs often encounter challenges when reasoning over complex, interdependent logic structures. To address this limitation, we introduce \textit{AgentPS}, a novel framework that integrates Agentic Process Supervision into MLLMs via multi-round question answering during fine-tuning. \textit{AgentPS} demonstrates significant performance improvements over baseline MLLMs on proprietary TikTok datasets, due to its integration of process supervision and structured sequential reasoning. Furthermore, we show that replacing human-annotated labels with LLM-generated labels retains much of the performance gain, highlighting the framework's practical scalability in industrial applications. These results position \textit{AgentPS} as a highly effective and efficient architecture for multimodal classification tasks. Its adaptability and scalability, especially when enhanced by automated annotation generation, make it a powerful tool for handling large-scale, real-world challenges.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)の高度な処理能力と推論能力は、視覚言語(VL)理解タスクの大幅な進歩をもたらした。 しかし、単純な論理によって支配されるタスクには有効であるが、MLLMは複雑で相互依存的な論理構造を推論する際の問題にしばしば遭遇する。 この制限に対処するために,エージェントプロセススーパービジョンをMLLMに統合する新しいフレームワークである‘textit{AgentPS} を紹介する。 \textit{AgentPS}は、プロセス監視と構造化シーケンシャル推論の統合により、プロプライエタリなTikTokデータセット上でのベースラインMLLMよりも大幅にパフォーマンスが向上したことを示している。 さらに,人間の注釈付きラベルをLLMラベルに置き換えることによって,産業アプリケーションにおける実用的スケーラビリティが向上することを示す。 これらの結果は、マルチモーダル分類タスクの高効率かつ効率的なアーキテクチャとして、textit{AgentPS} を位置づけている。 その適応性とスケーラビリティ、特に自動アノテーション生成によって強化された場合、大規模で現実的な課題を扱うための強力なツールになります。

関連論文リスト

• Generative Giants, Retrieval Weaklings: Why do Multimodal Large Language Models Fail at Multimodal Retrieval? [8.45007357012084]
  MLLMが有効なレトリバーとして機能することを妨げるメカニズムについて検討する。 解析の結果,MLLMの表現空間はテキストセマンティクスによって圧倒的に支配されていることが明らかとなった。 MLLMの類似性計算に最も寄与する特定の特徴成分は、実際に、検索性能を積極的に劣化させるトラクタであることがわかった。
  論文  参考訳（メタデータ） (2025-12-22T07:36:20Z)
• A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
  我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。 本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。 層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
  論文  参考訳（メタデータ） (2025-11-19T04:13:36Z)
• SLMQuant:Benchmarking Small Language Model Quantization for Practical Deployment [45.23402877397396]
  SLMQuantは,Small Language Models (SLM) に適用した場合に圧縮技術を評価するための最初の体系的ベンチマークである。 我々は,SLM上での最先端量子化手法の動作を解析する。 有効なSLM量子化を規定する重要な要因を特定し,SLM調整圧縮のための実用的な設計原理を提案する。
  論文  参考訳（メタデータ） (2025-11-17T06:20:33Z)
• Think Then Embed: Generative Context Improves Multimodal Embedding [51.76690812535934]
  本稿では,ユニバーサル・マルチモーダル・エンベディング (UME) のためのThink-Then-Embed (TTE) フレームワークを提案する。 強力なMLLM推論器を利用することで、MMEB-V2ベンチマークで最先端のパフォーマンスを達成し、大規模な社内データセットでトレーニングされたプロプライエタリモデルを上回った。
  論文  参考訳（メタデータ） (2025-10-06T16:53:56Z)
• AMAS: Adaptively Determining Communication Topology for LLM-based Multi-Agent System [19.336020954831202]
  大規模言語モデル (LLM) は自然言語処理能力に革命をもたらし、産業問題解決のための自律型マルチエージェントシステム (MAS) として実践的に実装されている。 我々は、新しい動的グラフデザイナを通じてLLMベースのMASを再定義するパラダイムシフトフレームワークであるAMASを紹介する。 AMASは個々の入力の固有の特性を利用して、タスク最適化エージェント経路を介してインテリジェントにクエリトラジェクトリをクエリする。
  論文  参考訳（メタデータ） (2025-10-02T02:50:22Z)
• SignalLLM: A General-Purpose LLM Agent Framework for Automated Signal Processing [36.22027224597969]
  大規模言語モデル(LLM)は、強力な推論能力、幅広い汎用知識、文脈内学習、モーダル間伝達能力を提供する。 本稿では,SPタスクのための汎用LLMベースのエージェントフレームワークであるSignalLLMを紹介する。 コミュニケーションとセンシングにおける5つの代表的なタスクを通して,SignalLLMの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2025-09-21T18:54:54Z)
• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• Feature Engineering for Agents: An Adaptive Cognitive Architecture for Interpretable ML Monitoring [2.1205272468688574]
  大規模言語モデルに基づくエージェントに特徴工学の原則を適用したMLモニタリングのための認知アーキテクチャを提案する。 決定手順モジュールは、リファクタリング、ブレークダウン、コンパイルという3つの重要なステップを通じて、機能エンジニアリングをシミュレートする。 複数のLCMを用いた実験により, 各種ベースラインと比較して精度が有意に向上し, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-06-11T13:48:25Z)
• EIFBENCH: Extremely Complex Instruction Following Benchmark for Large Language Models [65.48902212293903]
  大規模言語モデル(LLM)を評価するためのEIFBENCH(Extremely Complex Instruction following Benchmark)を提案する。 EIFBENCHにはマルチタスクシナリオが含まれており、多様なタスクタイプを同時に総合的に評価することができる。 また,LLMのマルチタスクワークフローを正確に満たす能力を高めるために,セグメントポリシー最適化(SegPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-10T02:39:55Z)
• Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning [95.44766931218896]
  MLLM(Multi-modal large language model)は、テキストベースの推論に遅れを取っている。 本稿では,MLLMの推論コンポーネントをモジュール化し,容易に置き換え可能なパーセプション推論デカップリングを提案する。 本稿では,視覚知覚最適化(VPO)と呼ばれる新しい強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)
• TAMO:Fine-Grained Root Cause Analysis via Tool-Assisted LLM Agent with Multi-Modality Observation Data [33.5606443790794]
  大規模言語モデル(LLM)は、コンテキスト推論とドメイン知識の統合においてブレークスルーをもたらした。 細粒度根本原因解析のための多モード観測データ,すなわちTAMOを用いたツール支援LLMエージェントを提案する。
  論文  参考訳（メタデータ） (2025-04-29T06:50:48Z)
• Keeping Yourself is Important in Downstream Tuning Multimodal Large Language Model [63.14883657299359]
  MLLM(Multi-modal Large Language Models)は、視覚的および言語的推論を統合して、画像キャプションや視覚的質問応答といった複雑なタスクに対処する。 ダウンストリームタスクのためのMLLMのチューニングには,2つの重要な課題がある。タスク-Expert – 事前トレーニングとターゲットデータセット間の分散シフトによってターゲットのパフォーマンスが制限される。
  論文  参考訳（メタデータ） (2025-03-06T15:29:13Z)
• Towards more Contextual Agents: An extractor-Generator Optimization Framework [0.0]
  LLM(Large Language Model)ベースのエージェントは、幅広い汎用アプリケーションにわたる複雑なタスクの解決に顕著な成功を収めている。 しかしながら、それらのパフォーマンスは、専門産業や研究領域のようなコンテキスト固有のシナリオで劣化することが多い。 この課題に対処するため,本研究では,LLMエージェントの文脈適応性を高めるための体系的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-18T15:07:06Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Benchmarking Large and Small MLLMs [71.78055760441256]
  大規模なマルチモーダル言語モデル(MLLM)は、マルチモーダルコンテンツの理解と生成において顕著な進歩を遂げている。 しかし、そのデプロイメントは、遅い推論、高い計算コスト、デバイス上のアプリケーションに対する非現実性など、重大な課題に直面している。 LLavaシリーズモデルとPhi-3-Visionによって実証された小さなMLLMは、より高速な推論、デプロイメントコストの削減、ドメイン固有のシナリオを扱う能力を備えた有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-01-04T07:44:49Z)
• Task Preference Optimization: Improving Multimodal Large Language Models with Vision Task Alignment [58.94611347128066]
  タスク選好最適化(TPO)は、典型的なきめ細かい視覚的タスクから派生した微分可能なタスク選好を利用する新しい手法である。 トレーニング中にリッチなビジュアルラベルを活用することで、TPOはMLLMのマルチモーダル能力とタスク固有のパフォーマンスを大幅に向上させる。 VideoChatとLLaVAによるこのアプローチのインスタンス化は、ベースラインモデルと比較して、総合的に14.6%のマルチモーダル性能の向上を示している。
  論文  参考訳（メタデータ） (2024-12-26T18:56:05Z)
• SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
  画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。 トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。 コードとモデルはリリースされます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:26Z)
• MaCTG: Multi-Agent Collaborative Thought Graph for Automatic Programming [10.461509044478278]
  MaCTG (MultiAgent Collaborative Thought Graph) は動的グラフ構造を用いる新しいマルチエージェントフレームワークである。 プログラム要求に基づいてエージェントロールを自律的に割り当て、タスクの分散を動的に洗練し、プロジェクトレベルのコードを体系的に検証し統合する。 MaCTGは既存のマルチエージェントフレームワークと比較して運用コストを89.09%削減した。
  論文  参考訳（メタデータ） (2024-10-25T01:52:15Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Smurfs: Leveraging Multiple Proficiency Agents with Context-Efficiency for Tool Planning [14.635361844362794]
  Smurfs'は、大規模言語モデルの応用に革命をもたらすために設計された最先端のマルチエージェントフレームワークである。 Smurfは、余分なコストなしで複雑なタスクを解くモデルの能力を高めることができる。
  論文  参考訳（メタデータ） (2024-05-09T17:49:04Z)
• TDAG: A Multi-Agent Framework based on Dynamic Task Decomposition and Agent Generation [45.028795422801764]
  動的タスク分解・エージェント生成(TDAG)に基づくマルチエージェントフレームワークを提案する。 このフレームワークは複雑なタスクを小さなサブタスクに動的に分解し、それぞれが特定の生成されたサブエージェントに割り当てる。 ItineraryBenchは、さまざまな複雑さのタスク間でのメモリ、計画、ツール使用量のエージェントの能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-02-15T18:27:37Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)
• Harnessing Scalable Transactional Stream Processing for Managing Large Language Models [Vision] [4.553891255178496]
  大規模言語モデル(LLM)は、広範囲のアプリケーションにまたがって素晴らしいパフォーマンスを示している。 本稿では,トランザクションストリーム処理(TSP)とLLM管理を統合する革命的フレームワークであるTStreamLLMを紹介する。 リアルタイムの患者モニタリングやインテリジェントなトラフィック管理といった実践的なユースケースを通じて、その可能性を示す。
  論文  参考訳（メタデータ） (2023-07-17T04:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。