論文の概要: GLM-5V-Turbo: Toward a Native Foundation Model for Multimodal Agents

• arxiv url: http://arxiv.org/abs/2604.26752v1
• Date: Wed, 29 Apr 2026 14:49:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.445997
• Title: GLM-5V-Turbo: Toward a Native Foundation Model for Multimodal Agents
• Title（参考訳）: GLM-5V-Turbo:マルチモーダルエージェントのネイティブ基盤モデルを目指して
• Abstract要約: GLM-5V-Turboは,マルチモーダルエージェントのネイティブ基盤モデルに向けたステップである。 本稿では、モデル設計、マルチモーダルトレーニング、強化学習、ツールチェーン拡張、エージェントフレームワークとの統合など、GLM-5V-Turboの主な改善点について要約する。
• 参考スコア（独自算出の注目度）: 124.91522179321457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present GLM-5V-Turbo, a step toward native foundation models for multimodal agents. As foundation models are increasingly deployed in real environments, agentic capability depends not only on language reasoning, but also on the ability to perceive, interpret, and act over heterogeneous contexts such as images, videos, webpages, documents, GUIs. GLM-5V-Turbo is built around this objective: multimodal perception is integrated as a core component of reasoning, planning, tool use, and execution, rather than as an auxiliary interface to a language model. This report summarizes the main improvements behind GLM-5V-Turbo across model design, multimodal training, reinforcement learning, toolchain expansion, and integration with agent frameworks. These developments lead to strong performance in multimodal coding, visual tool use, and framework-based agentic tasks, while preserving competitive text-only coding capability. More importantly, our development process offers practical insights for building multimodal agents, highlighting the central role of multimodal perception, hierarchical optimization, and reliable end-to-end verification.
• Abstract（参考訳）: GLM-5V-Turboは,マルチモーダルエージェントのネイティブ基盤モデルに向けたステップである。 基礎モデルが現実の環境でますます展開されるにつれて、エージェント機能は言語推論だけでなく、画像、ビデオ、Webページ、ドキュメント、GUIといった異質なコンテキストに対して知覚、解釈、行動する能力にも依存する。 GLM-5V-Turboは、言語モデルの補助インターフェイスとしてではなく、推論、計画、ツールの使用、実行のコアコンポーネントとして統合されている。 本稿では、モデル設計、マルチモーダルトレーニング、強化学習、ツールチェーン拡張、エージェントフレームワークとの統合など、GLM-5V-Turboの主な改善点について要約する。 これらの開発は、競合するテキストのみのコーディング機能を保持しながら、マルチモーダルコーディング、ビジュアルツールの使用、フレームワークベースのエージェントタスクにおいて、強力なパフォーマンスをもたらす。 さらに、我々の開発プロセスは、マルチモーダルエージェントを構築するための実践的な洞察を提供し、マルチモーダル認識、階層最適化、信頼性のあるエンドツーエンド検証の中心的な役割を強調します。

関連論文リスト

• RaTA-Tool: Retrieval-based Tool Selection with Multimodal Large Language Models [57.15854852525046]
  オープンワールドマルチモーダルツール選択のための新しいフレームワークであるRaTA-Toolを紹介する。 提案手法により,MLLMはマルチモーダルクエリを構造化されたタスク記述に変換し,次に最も適切なツールを検索することができる。 タスク記述とツール選択の整合性をさらに向上するため、好みに基づく最適化段階を取り入れた。
  論文  参考訳（メタデータ） (2026-04-16T12:47:09Z)
• Agent-Omni: Test-Time Multimodal Reasoning via Model Coordination for Understanding Anything [12.274140974616747]
  MLLM(Multimodal large language model)は強力な能力を示すが、固定されたモダリティペアに限られる。 本稿では,既存の基盤モデルをマスタエージェントシステムで協調するエージェント-オムニフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-04T18:59:09Z)
• Process-Supervised Reinforcement Learning for Interactive Multimodal Tool-Use Agents [34.720205364467546]
  音声テキストのインターリーブを支援する強化学習用サンドボックス環境(RL)を導入する。 我々の中核戦略であるTARL(Turn-level Adjudicated Reinforcement Learning)は、長期的タスクにおけるクレジット割り当ての課題に対処する。 この統一されたアプローチは、強いRLベースラインと比較してテキストベースの$tau$-benchのタスクパス率を6%以上向上させる。
  論文  参考訳（メタデータ） (2025-09-17T23:25:00Z)
• Grounding Natural Language for Multi-agent Decision-Making with Multi-agentic LLMs [10.186029242664931]
  大規模言語モデル(LLM)の能力を多エージェント意思決定アルゴリズムに組み込むことにより拡張する。 本稿では,多言語大言語モデル (LLM) の設計のための体系的フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-10T19:53:23Z)
• MGCR-Net:Multimodal Graph-Conditioned Vision-Language Reconstruction Network for Remote Sensing Change Detection [55.702662643521265]
  マルチモーダルデータのセマンティックインタラクション機能を検討するために,マルチモーダルグラフ条件付き視覚言語再構成ネットワーク(MGCR-Net)を提案する。 4つの公開データセットによる実験結果から,MGCRは主流CD法に比べて優れた性能を示した。
  論文  参考訳（メタデータ） (2025-08-03T02:50:08Z)
• An Interactive Agent Foundation Model [49.77861810045509]
  本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。 トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。 私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
  論文  参考訳（メタデータ） (2024-02-08T18:58:02Z)
• UnifiedVisionGPT: Streamlining Vision-Oriented AI through Generalized Multimodal Framework [51.01581167257862]
  UnifiedVisionGPTは、SOTAビジョンモデルの統合と自動化を目的とした新しいフレームワークである。 本稿では,UnifiedVisionGPTのアーキテクチャと機能について概説し,コンピュータビジョンの分野に革命をもたらす可能性を示す。
  論文  参考訳（メタデータ） (2023-11-16T13:01:25Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [98.18244218156492]
  大規模言語モデル(LLM)は、非常に高度な自然言語処理を持つ。 アプリケーションがマルチエージェント環境に拡大するにつれて、包括的な評価フレームワークの必要性が生じる。 この研究は、マルチエージェント設定内でLLMを評価するための新しい競合ベースのベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。