毕设开源 在iOS上使用OpenCV实现图片中的文字框选

---

在iOS上使用OpenCV实现图片中的文字框选

---

首先，需要去OpenCV官网下载iOS的framework，下载好后拖入新建的工程中即可，由于OpenCV库是使用C++编写，所以swift无法直接使用，需要使用OC做桥接，需要使用swift的同学可以看下这篇文章Using OpenCV in an iOS app。

根据OpenCV入门笔记（七） 文字区域的提取中提供的思路，我实现了OC版本的代码，通过测试，清晰的文字截图识别没有问题，但是在复杂的拍照场景中几乎无法识别任何内容，例如下图

这张是相机拍摄的屏幕上的文字，有清晰的竖纹及屏幕反光，在该算法下，最终的框选区域是整个图片，无法识别文字区域，说明这个处理流程还是不完善的，我们先来看一下他的处理过程：

1. 将图片转为灰度图
2. 形态学变换的预处理，得到可以查找矩形的图片
3. 查找和筛选文字区域
4. 用绿线画出这些找到的轮廓

根据前面得到的识别结果，我们大致可以猜测问题出在了第二步，由于竖纹影响将全部文字区域连城一片，导致整图被框选。那么在第二步中都做了哪些操作呢？

实际上上面的流程一共做了4步操作，二值化->膨胀->腐蚀->再膨胀，这个流程对于正常的白底文本截图的识别没有问题，一但图片中出现了噪点，噪点在第一次膨胀的之后被放大，对整个图像产生不可逆的污染，我们先来看一下二值化后的图像

文字还是很清晰的，但是竖纹一样明显，接着第二步膨胀，看下会怎样

一片白，不用往下看了吧。

既然如此，就需要我们修改一下在第二步的处理流程了，在反转图像（由黑白变为白黑）之前，需要对图像进行降噪处理，因为OpenCV是对亮点进行操作，在黑白图像中降噪更容易处理(去除杂乱黑点)，降噪使用的方法仍然是上面的膨胀和腐蚀法

看一下经过两次降噪之后的图像是怎么样的

竖纹基本上不见了，仍然还有一部分黑点，但是已经不影响后面的识别了，这里降噪只能适度，过度处理可能会使文字部分丢失。

做完二值化反转之后是上面这个样子的，接下来再对图片做膨胀->腐蚀->膨胀处理

处理的结果图如下：

最终的框选效果

当然调试过程中不止用了这一张图片，毕竟结果要有一定的普适性，下面是其他几种情况下的识别结果

好了，下面贴一下整个过程的源码

这里还有几个cv::Mat 与 UIImage相互转换的方法一并提供

调试是一个反复修改流程、修改参数的过程，至于为什么是这样的流程和参数都是不断尝试之后，通过主观感受得到的结果，有兴趣的小伙伴可以自己修改下参数看看效果，如果有更好的方案欢迎你来和我交流探讨，还有，如果真的要运用到项目中，这个方案还是不完善的，比如黑底白字就没办法识别，所以还需要加入逻辑判断，进行不同的处理，我这里只是提供一个思路。