Fugu-MT 論文翻訳(概要): CoT-Seg: Rethinking Segmentation with Chain-of-Thought Reasoning and Self-Correction

論文の概要: CoT-Seg: Rethinking Segmentation with Chain-of-Thought Reasoning and Self-Correction

arxiv url: http://arxiv.org/abs/2601.17420v1
Date: Sat, 24 Jan 2026 11:41:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-27 15:23:07.72504
Title: CoT-Seg: Rethinking Segmentation with Chain-of-Thought Reasoning and Self-Correction
Title（参考訳）: CoT-Seg:Chain-of-Thought Reasoningとセルフコレクションによるセグメンテーションの再考
Authors: Shiu-hong Kao, Chak Ho Huang, Huaiqian Liu, Yu-Wing Tai, Chi-Keung Tang,
Abstract要約: 本稿では,段階的に考察し,必要な情報を検索し,結果を生成し,自己評価を行い,結果を洗練するシステムを提案する。 CoT-Segは、思考の連鎖推論と自己補正を組み合わせることで、推論セグメンテーションを再考する、トレーニング不要のフレームワークである。
参考スコア（独自算出の注目度）: 50.67483317563736
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Existing works of reasoning segmentation often fall short in complex cases, particularly when addressing complicated queries and out-of-domain images. Inspired by the chain-of-thought reasoning, where harder problems require longer thinking steps/time, this paper aims to explore a system that can think step-by-step, look up information if needed, generate results, self-evaluate its own results, and refine the results, in the same way humans approach harder questions. We introduce CoT-Seg, a training-free framework that rethinks reasoning segmentation by combining chain-of-thought reasoning with self-correction. Instead of fine-tuning, CoT-Seg leverages the inherent reasoning ability of pre-trained MLLMs (GPT-4o) to decompose queries into meta-instructions, extract fine-grained semantics from images, and identify target objects even under implicit or complex prompts. Moreover, CoT-Seg incorporates a self-correction stage: the model evaluates its own segmentation against the original query and reasoning trace, identifies mismatches, and iteratively refines the mask. This tight integration of reasoning and correction significantly improves reliability and robustness, especially in ambiguous or error-prone cases. Furthermore, our CoT-Seg framework allows easy incorporation of retrieval-augmented reasoning, enabling the system to access external knowledge when the input lacks sufficient information. To showcase CoT-Seg's ability to handle very challenging cases ,we introduce a new dataset ReasonSeg-Hard. Our results highlight that combining chain-of-thought reasoning, self-correction, offers a powerful paradigm for vision-language integration driven segmentation.
Abstract（参考訳）: 既存の推論セグメンテーションの作業は複雑なケース、特に複雑なクエリやドメイン外画像に対処する場合に不足することが多い。そこで本論文は, より長い思考・時間を要するチェーン・オブ・シークレットの推論に触発され, ステップ・バイ・ステップで考え, 必要な情報を検索し, 結果を生成し, 結果を自己評価し, 結果を洗練するシステムを探究することを目的とする。 CoT-Segは、思考の連鎖推論と自己補正を組み合わせることで、推論セグメンテーションを再考する、トレーニング不要のフレームワークである。微調整の代わりにCoT-Segは、事前訓練されたMLLM(GPT-4o)の固有の推論能力を活用して、クエリをメタ命令に分解し、画像からきめ細かなセマンティクスを抽出し、暗黙的または複雑なプロンプトの下でもターゲットオブジェクトを識別する。さらに、CoT-Segには自己補正段階が組み込まれており、モデルは元のクエリと推論トレースに対して独自のセグメンテーションを評価し、ミスマッチを特定し、マスクを反復的に洗練する。この推論と修正の緊密な統合は信頼性と堅牢性を著しく改善する。さらに、我々のCoT-Segフレームワークは、検索強化推論を容易に組み込むことを可能にし、入力に十分な情報がない場合に外部知識にアクセスできるようにする。 CoT-Segの非常に困難なケースを扱う能力を示すために、新しいデータセットReasonSeg-Hardを紹介した。我々の結果は、連鎖推論と自己補正を組み合わせることで、視覚言語統合駆動セグメンテーションの強力なパラダイムが提供されることを強調している。

論文の概要: CoT-Seg: Rethinking Segmentation with Chain-of-Thought Reasoning and Self-Correction

関連論文リスト