Loading... ## 一、 超分辨率中的无参考客观指标 无参考图像质量评估指标不依赖于参考图像,而是直接对重建图像进行质量评估。以下是几种常见的无参考客观指标: 1. **NIQE(Natural Image Quality Evaluator)** * **原理**:基于自然场景统计特征,使用高斯混合模型(GMM)建立自然图像特征的概率分布,通过该分布评估输入图像的质量。 * **特点**:分数越低表示图像质量越高,不需要训练过程,计算效率高。 * **应用场景**:适用于评估图像的自然性,尤其在超分辨率重建任务中,NIQE能够更好地反映人眼对图像质量的感知。 2. **BRISQUE(Blind/Referenceless Image Spatial Quality Evaluator)** * **原理**:基于自然场景统计特征,使用支持向量机(SVM)学习图像质量与图像特征之间的映射关系。 * **特点**:分数越低表示图像质量越高,计算效率高,泛化能力强。 3. **PIQE(Perception based Image Quality Evaluator)** * **原理**:基于感知特征,利用图像的块状结构和噪声特征来计算图像质量分数。 * **特点**:分数越低表示图像质量越高,能够有效评估图像的块效应和噪声水平。 4. **UHD-VTQ(Ultra High Definition Video Technical Quality)** * **原理**:基于视频的清晰度、帧率、色域、高动态范围特性和量化特性等特征进行质量评估。 * **特点**:满分为100分,分值越大表示被测视频的技术指标越好。 应用场景:无参考客观指标如NIQE、BRISQUE等在这些场景中能够有效评估超分辨率技术的重建质量,尤其在没有参考图像的情况下,提供了可靠的评估手段。 ## 二、评价指标NIQE(Natural Image Quality Evaluator) 有参考和无参考方式评估主要的区别在于是否将原始图像作为评价参考标准。有参考的评估是将重构出来的图像与原始图像进行对比分析,可以通过计算重构出来的图像与原始图像之间的相应评估指标来对重构算法进行性能评估,例如计算 MSE、PSNR 和SSIM 等指标。无参考评估方式则不需要使用原始高清晰的图像进行对比,例如通过人类的感知来对图像进行评估就属于无参考评估,但人类评估会受到个体差异因素的影响。 ### NIQE的工作原理 NIQE通过以下步骤来评估图像质量: * **特征提取**:从图像中提取自然图像的特征,如亮度、对比度、纹理等。 * **模型建立**:使用大量的自然图像样本来建立统计模型,通常是基于高斯混合模型。 * **质量评估**:将待评估图像的特征与模型进行比较,得到一个质量评分 [NIQE](https://zhida.zhihu.com/search?content_id=175194029&content_type=Article&match_order=1&q=NIQE&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3NDI5MDE3MDgsInEiOiJOSVFFIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTc1MTk0MDI5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.XUDR_CIbsTf1PBkG78wyOl9npLFoHG2lyDLGigXpbtc&zhida_source=entity)(Natural Image Quality Evaluator),这个模型的设计思路是基于构建一系列的用于衡量图像质量的特征,并且将这些特征用于拟合一个多元的[高斯模型](https://zhida.zhihu.com/search?content_id=175194029&content_type=Article&match_order=1&q=%E9%AB%98%E6%96%AF%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3NDI5MDE3MDgsInEiOiLpq5jmlq_mqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxNzUxOTQwMjksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.5i0ttkjNN4rcxRIYmPEv_2nyXjXdCrAOM9xJKCjo7-8&zhida_source=entity),这些特征是从一些简单并且高度规则的自然景观中提取;这个模型实际上是衡量一张待测图像在多元分布上的差异,这个分布是有一系列的正常的自然图像中提取的这些特征所构建的。 1 构建模型 空间域上的特征,称之为Spatial Domain [NSS](https://zhida.zhihu.com/search?content_id=175194029&content_type=Article&match_order=1&q=NSS&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3NDI5MDE3MDgsInEiOiJOU1MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxNzUxOTQwMjksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.VXbzDkuDZmtPAr_RwNAuHJKMJxSskLfKsVTG-hkZ0o8&zhida_source=entity) 按照如下的方式进行计算,首先是提取图像中的一个个[patch](https://zhida.zhihu.com/search?content_id=175194029&content_type=Article&match_order=1&q=patch&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3NDI5MDE3MDgsInEiOiJwYXRjaCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjE3NTE5NDAyOSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.-N9lbqhp8qsyBLNDTsmszgrtOOkW4eOoUNqDjcKDayY&zhida_source=entity),然后做下面这样的一个归一化  这里的μ \\muμ就是高斯权重,在最初的设计中这里的高斯权重是一个3x3的模板;看到上面的公式,这里就很明确了,上述实际上一个基于高斯平均值以及高斯标准差的一个归一化计算,相对于其他的一些指标,NIQE仅仅是计算正常的自然图像中的这个指标,毫无疑问的是不正常的图像多多少少会在这个指标上同正常图像的计算值会有一个歧离,从这个意义上讲,理论上NSS 可以适用于各种图像退化种类,基于这种思想设计的IQA可以权衡各种图像退化,而不是像某些指标那样仅仅是在某些退化种类上有很好的的表现。 patch的选择 如果需要计算上述的NSS指标,毫无疑问的是会造成图像被分裂为一个一个的patch,在NIQE的算法设计中,只有一部分patch是有用的,这就涉及到一个patch的选择问题;这里实际上有一个启发,比如我们关注一个分辨率退化图像时,我们会挑选那些原本应该是sharp的局部边缘进行观察,判断其分辨率是否受损,而不会整个图像的所有patch都观察一遍;这里定义了一种局部[形变系数](https://zhida.zhihu.com/search?content_id=175194029&content_type=Article&match_order=1&q=%E5%BD%A2%E5%8F%98%E7%B3%BB%E6%95%B0&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3NDI5MDE3MDgsInEiOiLlvaLlj5jns7vmlbAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxNzUxOTQwMjksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Se_UCfhFa_PJ6p0boe0Ulu-dU8nn7fcVxiVxkN-oFis&zhida_source=entity)  这里的形变系数设置了一个阈值,在作者的实验中,这个阈值设置的是0.75,大于0.75的patch 可以选入进行下一步计算;这一步的操作是很好理解的,因为毕竟往往是形变系数越大的patch说明里面的内容越复杂,换而言之说明这里的内容所包含的信息更多。这里的σ \\sigmaσ就是上面步骤所述的σ \\sigmaσ计算 描述patch 之前的内容已经说明了patch的空间域特征以及如何选择patch,现在的问题在于如何设计指标来刻画我们选择的patch,这种刻画按照设计是一种借鉴高斯分布思想的指标,首先定义高斯分布类型的指标[GGD](https://zhida.zhihu.com/search?content_id=175194029&content_type=Article&match_order=1&q=GGD&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3NDI5MDE3MDgsInEiOiJHR0QiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxNzUxOTQwMjksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.8jmbu1wFbr460j1v0jGZGSNMbYGyHIDRf3AcyjSPcJI&zhida_source=entity)    --- ### [我的个人博客主页,欢迎访问](https://www.aomanhao.top/) ### [我的CSDN主页,欢迎访问](https://blog.csdn.net/Aoman_Hao) ### [我的GitHub主页,欢迎访问](https://github.com/AomanHao) ### [我的知乎主页,欢迎访问](https://www.zhihu.com/people/aomanhao-hao) 最后修改:2025 年 05 月 01 日 © 允许规范转载 打赏 赞赏作者 支付宝微信 赞 如果觉得我的文章对你有用,请随意赞赏