我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:2019跑狗图高清彩图 > 指令级并行 >

Blackfin处理器在图像处理方面的技术优势解析

归档日期:07-05       文本归类:指令级并行      文章编辑:爱尚语录

  图像是人类获取和交换信息的主要来源,因此,图像处理的应用领域必然涉及到人类生活和工作的方方面面。随着人类活动范围的不断扩大,图像处理的应用领域也将随之不断扩大。遍布航天航空、医疗设备、通信工程、军事安防、文化艺术等众多方面。近年来,随着消费类产品尤其是拍照手机、数码相机、数码摄像机等一系列数码产品的问世,这些视频设备中蕴含的图像信号处理功能也逐渐被人们所认知和关注。而伴随近年来数字电视、IP摄像机、网络摄像头以及监控摄像头这类安防产品的迅速发展,更表明市场对智能监控需求的不断增长,这也是图像信号处理技术不断丰富和完善的过程。在这些图像信号处理中,包括自动对焦、自动曝光、自动白平衡以及颜色变换、背光补偿等都是一些基本的图像处理算法。

  传统的图像信号处理是通过专用的图像处理器完成的。而随着CMOS技术的不断发展,也出现了将图像信号处理(ISP)内置于CMOS图像传感器中的单芯片产品,这类传感器产品可借助其内部集成的功能模块完成一些图像信号处理的算法,包括自动曝光、自动白平衡、颜色变换等这些基本的算法。这类ASIC产品的出现曾一度颇具争议,因为虽然将ISP内置于传感器中具有降低功耗和节省占用面积的优点,但单就手机应用而言,从成本来讲,将ISP集成在传感器上的成本比ISP集成在移动多媒体处理器或基带上要高很多。随着传感器分辨率的提高,越来越多的传感器将只整合输出数字信号所必需的电路,而将图像处理及压缩等功能集成于移动多媒体处理器或基带中。而从成像质量来看,在移动多媒体处理器中集成功能强大的图像处理功能效果更佳,而且此趋势随分辨率的提高会愈加明显。所以业界一直有ISP与CMOS传感器将背离集成的趋势预言。但从近年来的CMOS传感器供应商推出的新产品线来看,这一预言未能兑现。因为我们看到,不断有一线的CMOS传感器供应商如Aptina、OmniVision推出最新的内置ISP的CMOS图像传感器单芯片产品,并在不断完善其功能、扩展其应用领域。目前已推出的这类单芯片产品除拥有包括曝光控制、伽玛校正、白平衡、色彩饱和度调节以及灰度控制等多种图像处理功能外,还可提供出色的低照度性能,在夜视环境下还具有优异的近红外响应性能,能为摄像头制造商提供更完善的自动白平衡和自动曝光功能,图像性能毫不逊色。一系列优异性能使其已由最初的拍照手机、数码相机、数码摄像机应用逐渐发展到网络摄像头、监控摄像头等新兴安防产品领域,其扩张态势仍在继续,大有星火燎原之势。

  应该说在数码相机等追求小巧轻薄的消费类产品应用中,内置ISP的CMOS传感器存在一定的竞争优势,低功耗和小面积的表现以及随生产规模而不断降低的成本使其成为众多应用厂商的宠儿。在这同时我们要看到,这种内置ISP的CMOS传感器方案目前还只能完成一些不太复杂的算法,而随着智能化要求的不断提高,消费类产品,尤其是视频监控等安防产品都要求更高的视频处理功能,也就要求更复杂的算法,而复杂的算法对主芯片的处理能力提出更高的要求。如传统上许多监控摄像机基于像素分辨率为NTSC(352×240)或PAL(352×288)的准普通媒体格式(CIF),同时在压缩格式方面主要采用了不太复杂的M-JPEG格式,从而对DSP处理性能要求不高。但是随着视频监控市场的迅速发展,人们期待更高的图像清晰度和更高的帧率。在分辨率方面,业界期待D1(704×576)或者更高的解析度;在编解码方面,则期待采用复杂的MPEG-4压缩格式。同时,随着网络互联的发展,当DVR、DVS或者IP摄像机作为网络终端时,还需要考虑如何在传输过程中占用更少的带宽,因此MPEG-4正在向压缩比更高的H.264和AVS的编码格式演进。而这些更为先进的视频信号分辨率和压缩格式则会大大提高对核心处理器中处理能力的需求。除了强大的处理能力之外,还需要处理器平台提供足够的灵活性。从目前来看,在压缩格式方面虽然H.264最受业界青睐,有望成为未来几年的的主流。但是,由于M-JPEG、H.263、MPEG4和H.264等编解码算法各有优势,再加上市场需求的多元化,这些标准将会在一段时间内共存。要使方案具有竞争力,必须对尽可能多的标准给予支持。同时,媒体处理格式和算法也在不断更新,当更为先进的算法出现时,工程师希望只需在原有解决方案基础上进行基于软件的简便的升级,而不是重新设计。同时,视频监控又有其对保密性等安全技术的特殊要求,无论是商业还是家庭应用,设备本身都存在着被非法侵入和黑客攻击的威胁,要充分保障设备的安全性对产品设计无疑是很大的挑战。在这时,内置ISP的单芯片CMOS传感器产品就显示出先天不足的缺点,因其尚不能完成如此复杂的功能,而要配备单独的图像处理器才能满足要求。ASIC虽然具有成本优势,但是在应对媒体格式、算法的改进和升级方面则具有天生的弊端,在音视频标准不断演进以及算法不断改进的视频监控市场,ASIC显得逊色很多。

  在这里,传统的处理器供应商如ADITINXP等具有不可替代的竞争力。其中ADI公司专为满足当今嵌入式音视频和通信应用的计算要求及功耗约束条件而设计的新型嵌入式处理器Blackfin系列以其突出的性能表现而格外抢眼。

  动态电源管理。所有的 Blackfin 处理器均采用了多种节能技术。Blackfin 处理器基于一种选通时钟内核设计,可按照逐条指令来选择性地切断功能单元的电源。还支持多种针对所需CPU动作极少(或根本不需要 CPU 动作)期间的断电模式。该处理器还支持一种自含动态电源管理电路,借助该电路即可对工作频率和电压进行独立控制,以满足正在执行的算法的性能要求。这些转换可以在一个RTOS或用户固件的控制之下连续出现。大多数 Blackfin 处理器都提供了片上内核稳压电路,并可在低至 0.8V 的电压条件下工作,因而特别适合于需要延长电池使用寿命的便携式应用;

  具有高性能处理器内核。该处理器架构基于一个10级/DSP流水线和一个专为实现最佳代码密度而设计的混合16/32位指令集架构,该架构很适合于高密度、大运算量的图像处理系统;

  高带宽的DMA。图像处理系统需要对大量的图像数据进行处理,这涉及到内存数据存取,采用Blackfin的二维DMA控制器可以实现自动数据传输,大幅度减少处理器的内核开销;专用的视频指令集,图像处理中存在大量的视频像素处理,Blackfin处理器具有专门为8位视频数据以及常用的视频像素处理算法设计的指令集,大大提高了处理速度;

  分级的存储空间。Blackfin具有L1和L2两级Cache,对于一些不适合使用DMA操作的数据,可以采用数据/代码缓冲的模式来加快处理速度;

  丰富的外设功能。Blackfin具有高速的串/并行数据接口,可以无缝的连接其它高速器件;

  安全方面,Blackfin Lockbox SecureTechnology利用软硬件相结合的方式来实现各种安全保护功能。对系统进行鉴定的公共密钥存储于单次可编程(OTP)内存中的用户可编程区域,这种存储方式可以由OEM来控制和定义。同时由于其具有可编程性,使指令集可实现丰富的软件加密算法,意味着相同的装置能支持多种内容保护格式。故该技术可从来源的验证、内容的完整性、机密性以及可更新性等多方面为整个视频监控设备提供一个安全环境;

  基于以上技术特点,同时由于其强大的多媒体处理能力、专业的算法支持、和嵌入式实时操作系统,使Blackfin不仅能实现优异的自动对焦等3A1B算法,还能够执行复杂的如自动精选代码等计算密集型算法,尤其在对处理器要求极高的智能视频监控等产品中更发挥着出色的作用。

  仅以智能视频监控产品为例,尽管已经取得了巨大进展,智能视频分析领域目前仍无公认的最优方法。其自身研究内容的复杂性,使得算法复杂度高,适用范围有限,研究方法和工具多样,没有鲁棒性、准确度、速度都符合需求的普遍方法。同时,视频监控系统的网络化和分布式处理的要求,以及大规模工程安装对成本、体积和功耗的限制,使运算能力和带宽都在不断提高的嵌入式处理器成为视频监控系统的主流选择。而非标准化的智能视频分析,正是DSP的用武之地。

  Blackfin的几十个DMA通道和可灵活配置的Cache很好地满足了视频监控系统对大运算量,高数据吞吐率的要求。10级流水线使得Blackfin有很强的指令并行执行能力。零开销循环控制指令让系统中的大量循环跳转不再消耗任何处理器的时钟周期。利用这些优势,real解码器的idct4×4算法在Blackfin上速度提高了7倍。

  另外,视频数据也有其自身的特性。在不同的颜色空间内,表示像素的每个分量通常是8位宽度。Blackfin的4个视频算术运算单元和视频像素指令集大大加速了视频运算速度。一条视频像素操作指令可以在一个周期内完成4对视频数据分量的加法、减法、加减混合、取平均值或者相减并求绝对值等11种视频像素运算。这些运算在编解码算法中的运动估计、loopfilter和智能视频分析的各种算法中大量应用。在智能视频分析的一些基础算子中,如直方图统计,中值运算,Sobel运算,形态学中的膨胀运算等都可以利用Blackfin的MIN,MAX指令来消除条件跳转,节省处理器周期。不仅如此,Blackfin还支持13种非视频数据的向量运算。适当地设计数据结构,在前背景分离、阈值计算和更新等多个环节都可以运用Blackfin的特色指令从而使智能视频分析的算法更加快捷。这些有效的指令中,大部分指令都能并行执行,使Blackfin的处理能力再加倍。

  应用方面,由南京新奕天科技有限公司与香港大学合作开发出的基于Blackfin系列最新产品BF561的一流智能视频监控设备ThinkSmart已经推向市场。其中BF561独特的双核设计使ThinkSmart在处理核上能独立的运行图像处理和系统控制任务,从而达到最佳的整体性能,使此款产品能够简单而又有效检测威胁或闲杂访客,实现一系列智能化视频监控功能。

  Blackfin系列处理器在图像处理方面,尤其是应对智能化的技术挑战方面,是众多应用厂商的理想之选。ADI公司也在努力通过最新的CMOS深亚微米工艺尺度、更深的流水线、多内核、每个核心更多的计算单元,以及充分利用信号处理加速引擎,继续提高Blackfin系列的性能,增强其在性价比和性能功耗比方面的领先地位。

  同图像灰度不同,边界处一般会有明显的边缘,利用此特征可以分割图像。需要说明的是:边缘和物体间的边界并...

  工作于红外波段的图像探测器普遍存在着灵敏度差、效率较低、价格昂贵等缺点。通过频率上转换的方法将红外图...

  图像形成过程包括数据采集和图像重建步骤,为数学逆问题提供解决方案。图像计算的目的是改善重建图像的可解...

  网络语音协议(VoIP)的时代就在这里,将电话和数据通信结合在一起,提供低流量的分组语音和传真数据 ...

  对于新型的深度学习框架,目前在自然语言处理中的应用还有待进一步加深和提高。比如对抗学习、对偶学习等虽...

  随着全面屏的发展,手机对于前置摄像头模组的要求是尽可能做小、做薄。而决定摄像头模组的尺寸的,主要是C...

  深度学习应用凭借其在识别应用中超高的预测准确率,在图像处理领域获得了极大关注,这势必将提升现有图像处...

  传统评估种子的方法通常是先进行有损取样,然后进行物理、生理、生化和分子测定。这些方法的确是有效的,但...

  人类想要实现一系列的基本活动,如生活、工作、学习就必须依靠自身的器官,除脑以外,最重要的就是我们的眼...

  “GauGAN”收集了超过100万张图片作为数据基础,使用深度算法让AI进行学习,最终能够在像素级的...

  拍照的频率是多少、做缺陷检测还是尺寸测量或者是定位、产品的大小(视野)是多少、需要达到多少精度、所用...

  用FPGA做图像处理最关键的一点优势就是:FPGA能进行实时流水线运算,能达到最高的实时性。因此在一...

  该模块主要负责信息的光电转换,位于镜头后端的像平面上。目前,将为主流的图像传感器可分为CCD(Cha...

  日经新闻近日报导,智能手机销售虽减速,但因搭载的摄像头数量增加,提振使用于智能手机摄像头的图像传感器...

  近日,百度云与联捷计算科技(CTAccel)共同推出基于FPGA的图像加速解决方案(CIP,CTAc...

  用FPGA做图像处理最关键的一点优势就是:FPGA能进行实时流水线运算,能达到最高的实时性。因此在一...

  而随着我们连接更多的摄像机,并要求它们执行更复杂的任务,它们的基础架构也在悄然改变。当前,用于图像处...

  目前该攻略已涵盖校招时间表、准备攻略、刷题指南、内推、AI公司清单和答疑等资料。资料已经上传到 AI...

  著名科学家霍金教授生前因患有肌肉萎缩疾病,几乎完全瘫痪,既不能通过双手,也不能通过语言与外界沟通。因...

  专利描述的图像显示系统包括附接位置误差测量函数,并用于测量头部动作追踪设备参考轴(x,y,z)与用户...

  佳能6DII在规格上有着诸多升级,配备了约2620万有效像素的全画幅CMOS、DIGIC 7处理器、...

  理解 GPU 和 CPU 之间区别的一种简单方式是比较它们如何处理任务。CPU 由专为顺序串行处理而...

  边缘是图像中像素值发生剧烈变化而不连续的结果,它存在于目标与背景、目标与目标、区域与区域之间。边缘检...

  电子稳像是利用电子设备和数字图像处理技术相结合的方法,通过计算选定的参考帧图像和被比较的当前帧图像的...

  现代GPU提供了顶点处理器和片段处理器两个可编程并行处理部件。在利用GPU执行图像处理等通用计算任务...

  很多网站登录都需要输入验证码,如果要实现自动登录就不可避免的要识别验证码。本文以一个真实网站的验证码...

  “No PP,No WAY”这是个眼见为实的世界,这是个视觉构成的信息洪流的世界。大脑处理视觉内容的...

  Uber上个月加入了Linux基金会,并加入了AT&T和诺基亚等其他科技公司的行列,支持LF深度学习...

  用户使用搭载商汤超分辨率算法的vivo X23幻彩版拍照,照片放大后,远景细节呈现更加真实,线条光滑...

  赛灵思广播与专业音视频业务部总监Aaron Behman在本视频中与您一起讨论基于视频/视觉的系统发...

  在本视频中,我们将引导您完成典型的用户流程,以优化经典的图像处理算法,即sobel滤波器,从天真的实...

  在本次网络研讨会中,Xilinx展示了高级监控系统开发人员面临的关键挑战,重点是何时在边缘或云端本地...

  这段视频中,我们将向您演示如何快速地创建一个简单的图像处理流水线,实时检测运动物体。把运动物体边缘勾...

  M6采用的是APS-C画幅CMOS,相比传统的手机传感器(一般是1/3英寸)要大了将近12倍!更大的...

  但照现在的形势来看,如果消息属实,佳能在APS-C相机的传感器供应被索尼攻陷后,那接下来很有可能会轮...

  ImageMagick是一个跨平台的、基于命令行的工具,能提供多种图片处理功能,例如只用一行指令就能...

  而且搭配OneFit™高度可调节连接器,能够轻松适配您的手机,不需要将手机从保护外壳中取出便能使用。...

  佳能G5X是一款拥有轻薄机身的优雅时尚机型,便于携带。拥有2020万的有效像素,以及CMOS的1英寸...

  运用弹性网络(一种正则化回归方法),消除了非重要协变量,保留了相关变量,非常适用于从该研究图像数据集...

  灰度变换函数描述了输入灰度值和输出灰度值之间变换关系,一旦灰度变换函数确定下来了,那么其输出的灰度值...

  对于图像的边缘来说,通常会形成一个斜坡过度。一阶微分在斜坡处的值不为0,那么用其得到的边缘较粗;而二...

  既然学了模式识别这个专业,研究生期间主要方向是机器学习,计算机视觉,图像处理。所以很想了解现在这个领...

  光点“虎鲨”无人机无论是整体机构设计还是其稳定的飞行性能都获得用户的一致认可。据了解,这款无人机获...

  就像针孔和针脚一样,边缘和角落也限制了光线的通过。使用传统的采集设备,比如iPhone,Bouman...

  加州大学伯克利分校的研究人员,近日在著名预印本网站 arXive 上,发布了最新的图像迁移成果:人体...

本文链接:http://f-taiken.net/zhilingjibingxing/288.html