論文の概要: HarnessIR: Harnessing Multimodal Foundation Models for Universal Real-World Image Restoration

• arxiv url: http://arxiv.org/abs/2610.10133v2
• Date: Thu, 08 Oct 2026 05:35:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.546308
• Title: HarnessIR: Harnessing Multimodal Foundation Models for Universal Real-World Image Restoration
• Title（参考訳）: HarnessIR:Universal Real-World Image Restorationのためのマルチモーダルファンデーションモデル
• Abstract要約: 本稿では,実世界の画像復元のためのエージェントフレームワークであるHarnessIRを紹介する。 HarnessIRは、認識と診断、オンデマンドツール呼び出し、迅速な構成、実行、検証駆動の洗練の5段階で構成されている。 オフ・ザ・シェルフのMFMは、非常に優れた復元処理を処理し、広く使われているMiO100合成ベンチマークで最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 22.95253243186029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world low-quality images suffer from complex mixed degradations, including but not limited to noise, blur, atmospheric effects, etc. Recent agentic methods usually model real-world image restoration (Real-IR) as a sequential tool calling problem over task-specific single-degradation restoration models. This paradigm, however, is fundamentally limited because complex real-world degradations cannot be cleanly undone degradation by degradation, and the tool used for task-specific models caps the capability of the agent system. In this work, we present HarnessIR, an agentic framework for Real-IR by harnessing a multimodal foundation model (MFM) as the executor. HarnessIR consists of five stages: perception and diagnosis, on-demand tool invocation, prompt composition, execution, and verification-driven refinement. Unlike prior agentic Real-IR methods that rely on tool chains assembled from task-specific models, HarnessIR feeds the restoration requirements, the perceptual diagnosis, and the evidence into an MFM that performs restoration in a single pass, followed by verification stages to determine whether the result warrants further processing. Under our harness, off-the-shelf MFMs handle restoration tasks remarkably well, achieving state-of-the-art results on the widely used MiO100 synthetic benchmark. More importantly, by exploiting the strong generalization ability of MFMs, HarnessIR delivers compelling restoration quality on challenging real-world scenes where previous agentic IR systems often struggle. Codes is available at https://github.com/PolyU-VCLab/HarnessIR.
• Abstract（参考訳）: 実世界の低画質画像は、ノイズ、ぼかし、大気効果など、複雑な混合劣化に悩まされている。 近年のエージェント的手法は,タスク固有の単一劣化回復モデルに対する逐次的ツールコール問題として,実世界の画像復元(Real-IR)をモデル化している。 しかし、このパラダイムは、複雑な現実世界の劣化が分解によってきれいに分解できないため、基本的に制限されている。 本稿では,マルチモーダルファウンデーションモデル(MFM)をエグゼキュータとして活用することにより,Real-IRのエージェントフレームワークであるHarnessIRを提案する。 HarnessIRは、認識と診断、オンデマンドツール呼び出し、迅速な構成、実行、検証駆動の洗練の5段階で構成されている。 タスク固有のモデルから組み立てられたツールチェーンに依存する従来のエージェントのReal-IRメソッドとは異なり、HarnessIRは修復要件、知覚的診断、エビデンスを単一のパスで修復するMCMに供給し、その結果がさらなる処理を保証できるかどうかを検証ステージで判断する。 我々のハーネスの下では、市販のMFMが修復作業に非常にうまく対応し、広く使われているMiO100総合ベンチマークで最先端の結果が得られる。 さらに重要なことは、MFMの強力な一般化能力を活用することで、HarnessIRは、以前のエージェントIRシステムがしばしば苦労する現実のシーンにおいて、魅力的な復元品質を提供する。 Codesはhttps://github.com/PolyU-VCLab/HarnessIRで入手できる。

関連論文リスト

• Universal Image Restoration via Internalized Chain-of-Thought Reasoning [52.763760468548504]
  画像復元は、劣化した入力から高品質なイメージを復元しようとするが、複雑な混合劣化の下で非常に悪影響を及ぼす。 最近の研究は、特別なモジュールを用いた複数ラウンドの復元のためのChain-of-Thought (CoT)推論を採用する。 CoTIRは,単一モデル内でCoT推論を内部化する汎用画像復元フレームワークである。
  論文  参考訳（メタデータ） (2026-06-16T06:01:36Z)
• Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
  実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。 単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。 LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-20T04:11:44Z)
• MoA-VR: A Mixture-of-Agents System Towards All-in-One Video Restoration [62.929029990341796]
  実世界のビデオは、ノイズ、圧縮アーティファクト、低照度歪みなどの複雑な劣化に悩まされることが多い。 3つの協調エージェントによる人間のプロの推論・処理手順を模倣したMoA-VRを提案する。 具体的には、大規模かつ高解像度なビデオ劣化認識ベンチマークを構築し、視覚言語モデル(VLM)による劣化識別子を構築する。
  論文  参考訳（メタデータ） (2025-10-09T17:42:51Z)
• Multi-Agent Image Restoration [9.614197636859435]
  複雑な赤外線問題に対する新しいマルチエージェントアプローチであるMAIRを提案する。 3段階の復元フレームワーク上に構築されたMAIRは、協力的な人間専門家のチームをエミュレートする。 MAIRは、以前のエージェントIRシステムよりも競争性能が向上し、効率が向上する。
  論文  参考訳（メタデータ） (2025-03-12T13:53:57Z)
• An Intelligent Agentic System for Complex Image Restoration Problems [39.93819777300997]
  AgenticIRは、イメージ処理に対する人間のアプローチを、知覚、スケジューリング、実行、反射、再スケジューリングの5つの重要な段階に従って模倣する。 我々は、テキスト生成を介して対話する大規模言語モデル(LLM)と視覚言語モデル(VLM)を用いて、IRモデルのツールボックスを操作する。 実験では、複雑なIRタスクを扱うAgenicIRの可能性を実証し、視覚処理における汎用知性を達成するための有望な道を示す。
  論文  参考訳（メタデータ） (2024-10-23T12:11:26Z)
• LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration [62.3751291442432]
  高速なオールインワン画像復元を実現するために,コンパクトな低ランクの専門家を動的に活用する,フレキシブルなフレームワークであるLoRA-IRを提案する。 LoRA-IRは、劣化誘導前訓練とパラメータ効率の良い微調整の2つの訓練段階で構成されている。 実験により、LoRA-IRは計算効率を維持しつつ、14のIRタスクと29のベンチマークでSOTA性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-20T13:00:24Z)
• DRM-IR: Task-Adaptive Deep Unfolding Network for All-In-One Image Restoration [5.573836220587265]
  本研究は,効率的な動的参照モデリングパラダイム(DRM-IR)を提案する。 DRM-IRはタスク適応型劣化モデリングとモデルベースの画像復元で構成されている。 複数のベンチマークデータセットの実験は、DRM-IRがAll-In-One IRで最先端のIRを達成することを示している。
  論文  参考訳（メタデータ） (2023-07-15T02:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。