关于我们(上交所股票代码:600410)

分享到:
【技术分享】Grid Dynamics告诉你什么是In Stream处理?

2017年07月12日


2006年创立于硅谷的Grid Dynamics(以下简称GD)公司致力于在云计算平台上,利用公开源技术为客户建立高可靠性、高效率和高质量的大数据大型电子服务解决方案。在项目系统架构设计和交付、大数据、QA自动化、开源云计算平台、UI /全栈工程、 DevOps、搜索引擎开发等领域,均拥有世界顶端的专业技术人才。公司集中提供高端计算应用平台的建立,为客户提供最先进的IT服务平台。
 
GD始终保持技术和专家团队的更新和创新,其在大数据(Big Data)领域已经具有强大竞争力。为此小编特意邀请到GD技术专家与各位分享时下大数据最热点技术之一——In Stream大数据处理技术。
 
In-Stream处理是一种强大的技术,它可以扫描来自传感器,信用卡刷卡,点击流和其他输入的大量数据,并几乎能即时查找到有价值的信息。例如,In-Stream处理可以检测到包含数百万个合法购买流中的单个欺诈交易,它也可以充当推荐引擎,仅仅几秒内就能向在实际购物中的某特定客户展示适合的广告或者促销活动,或者计算出汽车服务的最优的价格。
 
为什么叫做In-Stream处理?
“In-Stream处理”意味着:
•数据作为由一些外部系统产生的连续的事件“流”进入处理引擎;
•处理引擎的工作速度非常快以致于所有的决策都能在不停止数据流和首先存储信息的情况下进行。
 
您可以将In-Stream处理引擎视为事件处理的“网络工厂(cyber plant)”。 想象一下,被捕获的事件正高速进入网络工厂的前端,排队,接着发送到装配线进行处理。在网络输送机的内部,专门的软件机器人执行分析计算和转换,可以对传递下来的事件进行过滤,匹配,计数,聚合和归纳。 每当发现或计算出有趣的东西 ——例如揭露欺诈或者计算动态价格时,将立即发送该通知到外部业务系统以执行某些操作。在输送机的末端,经处理的事件将被运送到仓库,其他系统可以访问它们以进行其他形式的处理。

替代名称
由于In-Stream处理的许多应用在本质上是分析性的,所以有些人称这些系统为In-Stream分析系统。 或者,有时候,人们会将前缀“in”删除,并将其简称为流分析(Stream Analytics)或流处理(Stream Processing)。 最后,值得一提的是,In-Stream处理技术属于处理大量事件(称为复杂事件处理或CEP)的广泛类型的方法。 因为In-Stream处理速度很快,目的在于即时分析数据,有时被称为快速数据(Fast Data),这个术语在使用和普及程度越来越高。

大数据(Big Data)领域
In-Stream处理只是在通常被称为大数据的技术,程序,工具和应用程序的更广泛领域中的一种相当专业的处理类型。
In-Stream处理通常发生在数据采集的前端,并且具有双重目的:
•业务洞察,被面向客户的在线系统或内部服务支持团队发现便立即采取行动。
•事件数据的预处理,使其存储更加方便,以便批处理系统能进一步分析和处理。从技术上讲,这被称为数据摄取。
 
图1:在In-Stream和其他大数据基础架构间的一种典型关系
 
In-Stream处理本身不能存在;它与大数据基础设施的其余部分集成,以提供实时处理功能,并可作为新的大数据服务添加到现有的大数据基础架构中。
 
速度和Feeds
典型的In-Stream处理可以很好地处理这些工作负载:
•流数据量是1,000—100,000事件/秒;
•处理延迟时间是每个事件在2—60秒之间;
•事件和业务动作之间的总时间间隔为1—60分钟。
 
每秒不到1,000个事件,In-Stream处理可能是过剩的,现代微服务架构可以做到这一点。 对于每秒持续超过100,000次活动,In-Stream处理将可能仍然有效,但需要定制化设计才能满足特定需求和基础设施选择。
对于在2秒以下的延迟要求的应用程序,In-Stream处理将不是一个可行的选择,因为数据在源系统,In-Stream处理引擎和实际作用于洞察力的应用程序之间的处理次数过多。
对于可以等待60分钟或更长时间的应用程序,像Hadoop这种批处理分析系统可能提供比In-Stream处理更便宜,更简单和更强大的解决方案。
 
典型的使用案例
In-Stream处理正在迅速普及,并正在各种业务领域寻求应用。未来,我们将详细描述具体用例的解剖结构,以说明In-Stream处理的工作原理。现在,这里列出了In-Stream处理中众所周知的成熟应用:
•推荐引擎,实时摄取、聚合和分析点击流技术可以作为一个推荐引擎,为用户提供个性化的优惠券、折扣、定制搜索结果和导向目标广告——所有这些都帮助零售商提高网上购物体验、增加销售和提高转化率。
•预防性维护,其能允许设备制造商和服务提供商监控服务质量,及时发现问题,通知支持团队并防止中断。
•欺诈检测,在欺诈检测中使用机器学习来识别流量中的异常,对银行和服务提供商进行虚假交易阻止,并迅速通知受影响的账户。
•情绪分析,情绪分析可以帮助检测到一个购物不愉快的客户,通过流技术加强响应,为客户提供更好服务来防止情绪升级到愤怒。
•动态定价引擎,动态定价引擎根据当前客户需求、万博体育mantbex闪退可用性和区域内的竞争价格来决定万博体育mantbex闪退的价格。 
 
虽然业务领域相当多样化,但其使用模式实际上非常相似,并归纳为:
1、将事件提供给流处理引擎;
2、执行处理逻辑;
3、将结果传递给由处理引擎开发的具有数据洞察力的合适的输出系统。
 
图2:In-Stream分析的常用使用模式
 
随着In-Stream处理技术的成熟,更多的组织投入数字化转型,In-Stream分析的新应用正在广泛的行业中被识别和实施。

关于华胜天成


关于华胜天成

 

万博体育mantbex登录(以下简称:华胜天成)是中国IT综合服务提供商,是服务网络覆盖大中华地区、东南亚及北美、东欧的跨国IT服务集团。旗下拥有两家主板上市公司:华胜天成(上海证券交易所上市公司:600410),香港ASL公司(香港联合交易所上市公司:00771);三家新三板挂牌公司:兰德网络(新三板:834505),和润科技(新三板:837746),沃趣科技(新三板:839849)。集团总部位于北京,在美国、欧洲、俄罗斯、乌克兰、波兰、香港及东南亚等地设有分子公司和研发中心,员工人数超过6000名,控股或参股公司逾20家 。


华胜天成的业务方向涉及云计算、大数据、移动互联网、物联网、信息安全等领域,业务领域涵盖IT万博体育mantbex闪退化服务、应用软件开发、系统集成及增值分销等多种IT服务业务。基于“客户导向”的经营理念以及“合作共赢”的发展战略,华胜天成立足于大中华市场,以为企业及政府客户提升IT核心能力为使命,以卓越的解决方案、对客户业务的深刻理解以及遍布大中华及部分东南亚区域的高效密集的服务交付网络,为客户提供贯穿其IT建设整个生命周期的“一站式”服务。公司在电信、邮政、金融、政府、旅游、教育、制造、能源、交通、军队等领域拥有大量成功案例。

重点推荐

联系我们

致电咨询:010-80986698 或者向我们发送邮件,通过在线留言联系。
我是广告位