論文の概要: Rethinking Generative Methods for Image Restoration in Physics-based Vision: A Theoretical Analysis from the Perspective of Information

• arxiv url: http://arxiv.org/abs/2212.02198v1
• Date: Mon, 5 Dec 2022 12:16:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 18:47:09.696597
• Title: Rethinking Generative Methods for Image Restoration in Physics-based Vision: A Theoretical Analysis from the Perspective of Information
• Title（参考訳）: 物理系視覚における画像復元のための生成法再考:情報の観点からの理論的分析
• Authors: Xudong Kang, Haoran Xie, Jing Qin, and Man-Leung Wong
• Abstract要約: エンド・ツー・エンドの生成法は、物理に基づく視覚における画像復元のためのより有望な解であると考えられている。 しかし、既存の生成手法には量的性能を改善する余地がまだたくさんある。 本研究では,情報理論を用いた画像復元作業における生成手法の再解釈を試みる。
• 参考スコア（独自算出の注目度）: 19.530052941885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: End-to-end generative methods are considered a more promising solution for image restoration in physics-based vision compared with the traditional deconstructive methods based on handcrafted composition models. However, existing generative methods still have plenty of room for improvement in quantitative performance. More crucially, these methods are considered black boxes due to weak interpretability and there is rarely a theory trying to explain their mechanism and learning process. In this study, we try to re-interpret these generative methods for image restoration tasks using information theory. Different from conventional understanding, we analyzed the information flow of these methods and identified three sources of information (extracted high-level information, retained low-level information, and external information that is absent from the source inputs) are involved and optimized respectively in generating the restoration results. We further derived their learning behaviors, optimization objectives, and the corresponding information boundaries by extending the information bottleneck principle. Based on this theoretic framework, we found that many existing generative methods tend to be direct applications of the general models designed for conventional generation tasks, which may suffer from problems including over-invested abstraction processes, inherent details loss, and vanishing gradients or imbalance in training. We analyzed these issues with both intuitive and theoretical explanations and proved them with empirical evidence respectively. Ultimately, we proposed general solutions or ideas to address the above issue and validated these approaches with performance boosts on six datasets of three different image restoration tasks.
• Abstract（参考訳）: エンド・ツー・エンド生成法は、手作りの合成モデルに基づく従来のデコンストラクティブ法と比較して、物理系視覚における画像復元のより有望な解決策と考えられている。 しかし、既存の生成手法には量的性能を改善する余地がまだたくさんある。 より重要なのは、これらの手法が弱い解釈可能性のためにブラックボックスと見なされ、それらのメカニズムや学習過程を説明する理論はまれである。 本研究では,情報理論を用いた画像復元作業における生成手法の再解釈を試みる。 従来の理解とは違って,これらの方法の情報フローを分析し,復元結果の生成において3つの情報源(抽出された高レベル情報,保持低レベル情報,およびソース入力に欠落している外部情報)をそれぞれ関与・最適化した。 さらに,情報ボトルネックの原理を拡張して学習行動,最適化目標,および対応する情報境界を導出する。 この理論に基づいて,既存の生成手法の多くは,過剰な包摂的抽象化プロセス,固有詳細損失,勾配の消失,トレーニングの不均衡といった問題に悩まされるような,従来の生成タスク用に設計された一般的なモデルの直接的な応用であることがわかった。 これらの問題を直観的・理論的に解析し,それぞれ実証的な証拠で検証した。 最終的に、上記の問題に対処するための一般的な解決策やアイデアを提案し、3つの異なる画像復元タスクの6つのデータセットのパフォーマンス向上でこれらのアプローチを検証する。

関連論文リスト

• A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
  画像復元(IR)とは、ノイズ、ぼかし、気象効果などの劣化を除去しながら、画像の視覚的品質を改善する過程である。 従来のIR手法は、一般的に特定の種類の劣化をターゲットとしており、複雑な歪みを伴う現実のシナリオにおいて、その効果を制限している。 オールインワン画像復元(AiOIR)パラダイムが登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-10-19T11:11:09Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
  ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。 本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T22:39:33Z)
• Learned reconstruction methods for inverse problems: sample error estimates [0.8702432681310401]
  本論文は,学習した再構成手法の一般化特性,特にサンプル誤差解析を行うためのものである。 より一般的な戦略が提案され、その仮定は、逆問題と学習方法の大きなクラスに対して満たされる。
  論文  参考訳（メタデータ） (2023-12-21T17:56:19Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)
• Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement [75.00655434905417]
  説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。 本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。 実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
  論文  参考訳（メタデータ） (2022-03-15T15:44:28Z)
• Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
  本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。 実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
  論文  参考訳（メタデータ） (2021-11-27T12:12:57Z)
• This looks more like that: Enhancing Self-Explaining Models by Prototypical Relevance Propagation [17.485732906337507]
  本稿では,自己説明型ネットワークであるProtoPNetのアーティファクトのスペクトルの存在下でのケーススタディを示す。 より正確なモデル認識説明を生成するための新しい手法を提案する。 クリーンなデータセットを得るために,アーティファクト画像を分離するためのマルチビュークラスタリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-27T09:55:53Z)
• Coupling Model-Driven and Data-Driven Methods for Remote Sensing Image Restoration and Fusion [19.728138983829872]
  モデル駆動の手法は、決定論的かつ理論的に妥当なイメージング機構を考える。 データ駆動の手法は、巨大なデータに対してより強力な事前知識学習能力を持つ。 ネットワークの解釈性は乏しく、トレーニングデータに過度に依存している。
  論文  参考訳（メタデータ） (2021-08-13T06:00:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。