DreamClear是一個(gè)由中國(guó)科學(xué)院自動(dòng)化研究所、中國(guó)科學(xué)院大學(xué)人工智能學(xué)院、字節(jié)跳動(dòng)公司和中國(guó)科學(xué)技術(shù)大學(xué)聯(lián)合開(kāi)發(fā)的項(xiàng)目，專(zhuān)注于隱私安全的數(shù)據(jù)集管理和高容量真實(shí)世界圖像恢復(fù)。該項(xiàng)目在神經(jīng)IPS 2024上發(fā)表，標(biāo)志著圖像恢復(fù)技術(shù)的一個(gè)重要進(jìn)步。DreamClear項(xiàng)目提供了方便的推理代碼、demo、預(yù)訓(xùn)練模型和基準(zhǔn)測(cè)試，旨在通過(guò)先進(jìn)的技術(shù)手段實(shí)現(xiàn)圖像的超分辨率和恢復(fù)。

主要特點(diǎn)

DreamClear項(xiàng)目的主要特點(diǎn)包括：

• 隱私安全的數(shù)據(jù)集管理：項(xiàng)目特別強(qiáng)調(diào)數(shù)據(jù)的隱私安全，確保在圖像恢復(fù)過(guò)程中數(shù)據(jù)的安全性。
• 高容量圖像恢復(fù)：能夠處理大量真實(shí)世界的圖像數(shù)據(jù)，實(shí)現(xiàn)高質(zhì)量的圖像恢復(fù)。
• 預(yù)訓(xùn)練模型：提供預(yù)訓(xùn)練模型，方便用戶(hù)快速部署和使用。
• 基準(zhǔn)測(cè)試：包含250個(gè)真實(shí)世界低質(zhì)量圖像的基準(zhǔn)測(cè)試RealLQ250，用于評(píng)估圖像恢復(fù)效果。

應(yīng)用場(chǎng)景

DreamClear的應(yīng)用場(chǎng)景廣泛，包括但不限于：

• 圖像增強(qiáng)：提升圖像質(zhì)量，適用于攝影、視頻監(jiān)控等領(lǐng)域。
• 數(shù)據(jù)恢復(fù)：在數(shù)據(jù)損壞或丟失的情況下，恢復(fù)圖像數(shù)據(jù)。
• 科研分析：在科學(xué)研究中，對(duì)圖像數(shù)據(jù)進(jìn)行超分辨率處理，以獲得更清晰的圖像。

部署安裝流程

部署安裝DreamClear的步驟如下：

1. 克隆存儲(chǔ)庫(kù)：通過(guò)Git克隆DreamClear的GitHub存儲(chǔ)庫(kù)。
2. 創(chuàng)建Conda環(huán)境：創(chuàng)建一個(gè)新的Conda環(huán)境，以隔離項(xiàng)目依賴(lài)。
3. 安裝軟件包：根據(jù)項(xiàng)目提供的requirements.txt文件安裝所需的軟件包。
4. 下載預(yù)訓(xùn)練模型：從項(xiàng)目提供的鏈接下載預(yù)訓(xùn)練模型，以便于快速開(kāi)始。

使用方法

使用DreamClear進(jìn)行圖像恢復(fù)的步驟如下：

1. 準(zhǔn)備訓(xùn)練數(shù)據(jù)：根據(jù)項(xiàng)目指南準(zhǔn)備訓(xùn)練數(shù)據(jù)集。
2. 生成文本提示：使用MLLM生成文本提示，為圖像恢復(fù)提供上下文信息。
3. 提取文本特征：利用T5模型提取文本特征，以增強(qiáng)圖像恢復(fù)的準(zhǔn)確性。
4. 訓(xùn)練DreamClear：使用項(xiàng)目提供的配置文件和命令進(jìn)行訓(xùn)練。
5. 測(cè)試圖像修復(fù)：使用提供的命令測(cè)試DreamClear的圖像修復(fù)功能，將低質(zhì)量圖像恢復(fù)到更高分辨率。

項(xiàng)目地址