微服务中「组件」集成_热点在线

2023-06-19 09:34:30 来源: 博客园
目录一、简介二、缓存管理三、消息队列四、搜索引擎五、定时任务六、数据存储七、参考源码

有品:There is no silver bullet;


(相关资料图)

一、简介

在微服务工程的技术选型中,会涉及到很多组件的集成,最常用包括:缓存、消息队列、搜索、定时任务、存储等几个方面;

如果工程是单服务,对于集成组件的管理来说并不算复杂;但是在分布式的多服务系统中,随着拆分的服务数量上升,统一管理各种组件的复杂度也会提高;

如上图,是团队内部维护的一份重要的系统清单:描述整个微服务体系中核心组件的依赖情况;【并不完整】

在整个工程内部拆分了几十个服务,基于一份系统架构图和一份组件依赖清单,如果熟悉微服务架构模式,可以非常快速的了解系统的基础原理和结构;

复杂系统对于中间件的依赖很重,需要在实践过程中不断的积累和总结经验,持续优化各种组件的应用策略;

对于组件来说,与项目工程的集成模式,核心的应用场景,以及在业务场景中的迭代优化,是研发需要重点关注的方面;

二、缓存管理

【集成模式】

Redis作为最常见的缓存选型,在与分布式工程集成时,其形式也存在很大的灵活度;

单服务:在分布式工程中,如果服务使用独立的Redis组件,通常是该服务支持的业务场景比较独特,比如高并发或者数据体量较大等;

分布式服务:微服务常见的集成方式,不同的服务使用同一个Redis的不同DB编号,其他服务必须通过该服务的接口访问其缓存数据;

缓存中心:整个工程基于一个缓存中心服务来管理,其适配的业务场景比较特殊,多个服务紧密协作,调度和处理相同的数据主体;

在实际的分布式系统中,通常是模式一模式二两种都采用,而模式三更多的是应对特殊的需求场景;

【应用方式】

虽然Redis可以极大的提升效率,但是在实际的应用中,涉及最多的就是数据缓存和加锁两个核心能力,对于组件的API使用并不算复杂;

无论是在框架层面的浅封装一层,还是围绕Redis组件编写常用的工具方法,都可以很好的实现工程和Redis相关API之间的解耦;不同服务之间缓存数据获取,需要通过各个服务提供的接口进行查询;

三、消息队列

【集成模式】

Kafka作为消息队列的常见技术选型,在与分布式工程集成时,在设计上会围绕消息生产和消费的基本模式;

服务内集成:在各个服务内部直接引入消息组件,服务可能是消息生产者也可能是消费者,当重度依赖消息通信时,流程可维护性比较差;

消息服务封装:单独封装消息生产消费两个服务,来统一调度和管理消息通信,虽然提高了技术面的复杂度,但是极大降低了异步流程的管理难度;

在实际应用时,如果工程内对于消息的使用并不高频,通常是采用模式一的策略,建议做好流程注释和文档维护;如果消息使用非常高频,可以考虑模式二的策略,减轻组件维护的难度;

【应用方式】

生产和消费能力追求平衡,即便有偏差也只能是消息的【消费】大于【生产】的效率,才能避免消息堆积从而影响正常的业务流程;

实践来看单纯的基于MQ的重试机制,并不能稳定的解决分布式架构中复杂流程的中断问题,需要围绕消息的存储设计相应的调度策略,从而推动整个流程的完整执行,无论是向下推进还是向前回滚;

四、搜索引擎

【集成模式】

对于搜索引擎Elasticsearch来说,个人感觉在常规业务场景中是最容易出问题的组件,使用ES索引的数据模型,通常结构复杂并且数据体量偏大,还涉及到大量的检索条件;

服务内管理索引和数据:通常是核心的业务场景,对数据的实时性要求极高,从常规的架构设计来考虑,虽然索引相关的结构和数据可能来自多个数据库,但是其管理的接口会统一封装在业务联系最密切的服务内;

独立组件管理索引数据:基于独立的组件(常用Logstash)进行调度,动态地采集、转换和传输数据,不受格式或复杂度的影响,数据往往以各种各样的形式,或分散或集中地存在于很多系统中;

无论是模式一还是模式二,都是ES常用的集成策略,比如模式一对于核心数据模型的构建,常见于订单或商品等,模式二的经典用法之一ELK日志采集等;

【应用方式】

以服务内部管理索引的方式来说,多数情况下索引的结构会不断的扩展,结构更新必然也会引起数据和检索条件的同步更新,如果是结构新增的方式更新,管理难度并不大,但是已有字段的类型更新,还需要索引重建;

对于ES这种操作起来比较复杂的技术组件,建议是把各种常用的操作编写程序脚本来处理,并且开发相应的管理功能,用更加稳定可控的方式来管理索引的结构和数据调度;

五、定时任务

【集成模式】

Quartz任务调度组件,在分布式系统中并不算复杂,基于定时器去触发各种任务执行即可;

服务内构建定时器:在一些简单的相对独立的服务中,可以在服务内配置定时器,去执行相应的任务流程,这种模式在复杂的分布式系统中很难维护;

独立的任务调度服务:可以统一管理任务的调度策略和执行方式(比如同步或异步),同时对任务调度服务进行监控和维护,以此确保任务调度系统的稳定性和可靠性;

通常模式一只会在个别独立的服务中采用,对于模式二来说,封装独立的任务调度服务,可以统一与其他服务进行集成或者通信,比如通过消息服务及时通知失败的任务等;

【应用方式】

在任务调度服务中,难免要和其他服务进行通信交互,从而触发相关任务的执行,如果系统内部定时任务不多的话,可以采用feign接口的方式触发,如果任务非常多,可以考虑直接构建Http请求的方式,避免服务频繁的升级迭代;

在调度任务中可能存在数据体量比较大的场景,通常就是采用分片算法加线程池并发处理的策略,但是前提也要优化好数据查询和任务处理流程,从整体上提升任务的执行效率;

六、数据存储

【集成模式】

以MySQL为代表的数据存储是系统中最核心的一层,其集成的形式也是灵活多变,与存储层相关的组件更是五花八门;

多服务共用数据库:对于模式一来说,在相对简单的系统中比较常用,或者服务和数据库本身偏向通用的功能性质,可以采用这种策略;

服务和库的拆分模式二是分布式架构中最常用的设计,每个服务都具有自己相应的独立数据库,其他服务想要访问必须通过调用相应服务提供的接口才可以;

多数据源模式:在一个服务内集成多个数据源,像模式三读写分离和模式四分库分表,这是偏数据服务的业务场景中经常使用的模式;

对于系统中的数据源管理本身就是一件复杂的事情,需要兼顾各个方面,比如数据读写性能,数据安全,以及服务的稳定性等;

【应用方式】

在常规的微服务工程中,通常每个服务都会使用各自独立的数据库,在多数据源的集成模式中,常用的逻辑就是动态路由、读写分离、分库分表等,如果逻辑简单可以自定义封装,如果逻辑复杂可以使用成熟的组件;

服务集成多数据源的模式中,存在一个比较明显的复杂问题,如何在不停止服务的情况下,进行数据源的动态管理,此前实践过的模式:提供不同数据源的适配服务来实现各自的策略,在完成数据源的动态调整后,停止其中旧服务即可,虽然流程偏重偏复杂,但是稳定可靠;

七、参考源码
编程文档:https://gitee.com/cicadasmile/butte-java-note应用仓库:https://gitee.com/cicadasmile/butte-flyer-parent

标签:

微服务中「组件」集成_热点在线

在微服务工程的技术选型中,会涉及到很多组件的集成,最常用包括:缓存

06-19 09:34:30

每日消息!卡斯卡里诺谈曼联给拉什福德超高薪:他还没做到单赛季英超20球

《太阳报》今天早些时候报道称,曼联将给拉什福德开37 5万英镑周薪。卡

06-19 09:39:00

上科大校长江绵恒:任何时候都不要急功近利,不要总是盯着位子、帽子和票子

“希望大家任何时候都不要急功近利,不要总是盯着位子、帽子和票子,始

06-19 09:10:22

巉什么意思(巉)

1、巉  chán  (1)ㄔㄢˊ  (2)山势高峻:~刻(a.山峰陡峭;b

06-19 09:08:02

今日申购:金杨股份、明阳电气、仁信新材、芯动联科 今日讯

无锡市金杨新材料股份有限公司保荐机构(主承销商):安信证券股份有限

06-19 09:03:52

焦点信息:奔流新闻初探全国村BA筹备现场:包粽子、打糍粑、做姊妹饭……贵州台盘等客来!

00:48全国和美乡村篮球大赛(村BA)将于6月20日在贵州省黔东南州台江县台

06-19 08:49:06

iphone5s花屏处理方法_iphone5s花屏-焦点资讯

1、去年iPhone5发布后,接连出现“掉漆门”和“紫色门”。改进后的iPho

06-18 22:03:34

天天看点:网传鼠鸭之争最激烈时,涉事学校组织学生煽动风向,有何法律责任

当初江西职业技术学院的食堂爆出有老鼠头之后,当地的市场监督局一口咬

06-18 21:23:31

【世界独家】深入剖析Android系统(关于深入剖析Android系统介绍)

来为大家讲解以上的问题。深入剖析Android系统,入剖析Android系统介绍

06-18 20:46:10

全球微动态丨赵诣、林英睿、鲍无可…… 多位知名基金经理旗下产品打开大额申购

北京商报记者注意到,6月17日,泰达宏利基金发布公告称,为满足投资者

06-18 19:54:31

环球观天下!重点优抚对象和优抚对象有什么区别(参战军人重点优抚对象)

1、不管有无工作单位每人每月220元的补助。2、但有的省只给农村户口,

06-18 19:18:12

频繁的交易,基本上判了你被割韭菜的命运

1、如果你只把钱存银行,你就跑不赢通胀,当你发现自己被通胀割韭菜的

06-18 18:47:47

每日热文:lol云顶之奕怎么升星英雄(云顶之奕怎么升星)

大家好,最近小红发现有诸多的小伙伴们对于lol云顶之奕怎么升星英雄,

06-18 17:37:50

明天本轮降水结束!河南高温天气即将回归

昨日河南西部南部出现中到大雨豫南部分县市暴雨信阳大暴雨目前降水仍在

06-18 17:05:26

弘信电子:与摩尔线程智能科技有限责任公司于2023年6月18日签署了《战略合作框架协议》

每经AI快讯,弘信电子(SZ300657,收盘价:20 1元)6月18日晚间发布公

06-18 16:44:53

因地制宜因时制宜哲学道理_因地制宜 因时制宜

1、因:根据制:发展宜:适合的因时制宜:根据时间的不同发展适合的(生产)

06-18 16:02:44

上海虹口三小区联合“团购”物业,不增加物业费享受品牌服务|速递

“新的物业进来后,服务质量肉眼可见地发生了变化,物业管理人员在小区

06-18 15:14:28

叙利亚一军车遭炸弹袭击 致3死6伤

据叙利亚媒体当地时间18日报道,一辆军车被安置了汽车炸弹,在行驶至霍

06-18 14:40:32

央视主持人阿丘近况 中央电视台主持人阿丘

1、阿丘人名全名:邱孟煌籍贯:广东省汕头(我老乡)生于:1968年工作

06-18 14:02:17

环球观察:建设现代化产业体系是一项系统工程

现代化产业体系是高质量发展的物质和技术支撑,是国民经济循环畅通的关

06-18 14:01:41

成都大运会解说团首次亮相_当前快报

成都大运会解说团首次亮相---新华社成都6月17日电(记者陈地)17日,由

06-18 12:41:52

全球通讯!江畔美术馆开馆

本报讯(记者龚宇)6月18号上午十点,中国315书画院在江阴市黄田港公园隆

06-18 12:02:52

iFixit的最新MacStudio拆解揭示了M2Max的新型号M2Ultra选项与去年完全无法区分_最新资讯

这M2超在以下情况下没有明显差异与M1Ultra相比 虽然你确实得到了一个稳

06-18 11:07:42

“点滴的变化”换来“稳稳的幸福” 瞄准基本民生 促进民族团结 全球独家

甘肃是多民族地区,也是民族工作重点省份。近年来,甘肃瞄准民族地区基

06-18 10:42:53

天天滚动:买1根牛肉干被偷塞5根称重?衢州通报:情况属实

据浙江省衢州市柯城区委宣传部官方微博消息,针对网传有消费者在衢州市

06-18 09:56:04

环球聚焦:“双语联通四海 共话法治自贸”首场双语法律沙龙举行

6月16日下午,由海南省高级人民法院主办、海南省第一中级人民法院承办

06-18 09:18:57

固态电池能不能拯救丰田?

6月14日,丰田的年度股东大会上,丰田章男当选连任董事长。在此前一天

06-18 08:48:44

世界最新:湖南卫视快乐大本营张雨绮(张雨薇快乐大本营)

1、陈学冬目前上过7次《快乐大本营》。2、快乐大本营20160611嘉宾:彭

06-18 08:05:53

网友吐槽"高考后还要被防沉迷限玩" 腾讯高情商回应

网友吐槽 "高考后还要被防沉迷限玩 "腾讯高情商回应

06-18 07:39:00

4444克等于多少斤 4444k 环球速递

今天来聊聊444克等于多少斤,4444k的文章,现在就为大家来简单介绍下44

06-18 06:47:10

领导工作应作为一门科学来研究这主要是因为_30岁了想学一门技术 什么技术学了好找工作

1、随着社会经济飞速发展,拥有一台汽车已经不是那么困难的事,汽车以

06-18 05:42:55

w799参数_三星w789水货

1、三星手机充不了电的原因:2、手机系统故障,导致电池电量显示出现问

06-18 03:52:34

【视线】影视剧联动非遗成热门

展现苏绣、针灸、花丝镶嵌等非遗技艺【视线】影视剧联动非遗成热门本报

06-18 02:55:22

热推荐:北京歌华有线宽带资费(北京歌华有线宽带缴费地点)

想必现在有很多小伙伴对于北京歌华有线宽带缴费地点方面的知识都比较想

06-18 00:49:15

爸,我想和您喝杯酒 世界新资讯

面对父亲,我们总是张了张嘴许多话却没能流畅地表达面对父亲,即使话有

06-17 23:07:28

刚刚,第二十五届上海国际电影节金爵奖主竞赛单元获奖名单出炉_今日热门

第二十五届上海国际电影节金爵奖主竞赛单元获奖名单今晚出炉,具体名单

06-17 22:11:00

湖北幼儿师范高等专科学校百科_湖北幼儿师范高等专科学校相关内容简介介绍

湖北幼儿师范高等专科学校(HubeiPreschoolTeachersCollege)坐落于湖

06-17 21:56:10

快看点丨温暖的抱抱简介200字(温暖的抱抱简介)

导读1、电影《温暖的抱抱》讲述了对整洁和时间规划有着超乎常人执念的

06-17 20:50:50

如何彻底退出微信群(如何彻底退出微信群聊 不被别人找到)_全球热文

有时候莫名其妙进了一些微信群,总是接收到一些不想要的消息,怎样减少

06-17 20:29:38

武夷岩茶属于什么茶叶_武夷岩茶属于什么茶

1、武夷岩茶产于闽北 "秀甲东南 "的名山武夷,茶树生长在岩缝之中。2、

06-17 19:49:27

prisoners armed with baseball|环球观察

1、囚犯n 囚徒Twoprisonershaveescaped 有两个囚犯逃走了。2、俘虏Thee

06-17 18:58:37

新消息丨突发!广西惨烈车祸:2人被碾压身亡,惨不忍睹,更多内幕曝光

6月17号,广西发生一起惨烈的交通事故,一辆电动自行车在公路上遭到货

06-17 18:23:33

热文:热到中暑怎么办?这些错误千万别犯!

大汗淋漓,四肢无力,口干口渴……莫不是中暑了?您知道中暑有哪些表现

06-17 17:47:26

暗黑4环绕刀锋威能获得攻略 短讯

暗黑破坏神4是一款有着丰富内容的游戏,游戏中可以探索的地方有很多,

06-17 17:03:24

世界微动态丨我国三北防护林建设工程取得积极进展 实现历史性转变

央视网消息:防沙治沙离不开重大林业生态工程,三北防护林建设工程是世

06-17 16:48:47

艾青现代诗春天简短 艾青的现代诗春天 当前要闻

1、只要明天还在只要春天还在,­我就不会悲哀,­纵使黑夜吞噬了一切

06-17 16:20:05

环球精选!硫酸镁商品报价动态(2023-06-17)

交易商品牌 产地交货地最新报价硫酸镁 含量99%广州市辉豪化工有限公司

06-17 16:01:17

梦回三国|血战陈仓_世界新动态

滚滚长江东逝水,浪花淘尽英雄。是非成败转头空;青山依旧在,几度

06-17 15:24:48

明天盛大开幕,电竞、美食节!

天下英雄城,登场皆英雄!第十八届城市英雄争霸赛四强选手已经集结历时

06-17 15:13:45

国象联赛第十轮战罢山东北京成都争夺前八资格|当前要闻

国象联赛常规赛昨天进行了第十轮较量,北京队击败山东,保留晋级总决赛

06-17 14:10:57

每日消息!卡斯卡里诺谈曼联给拉什福德超高薪:他还没做到单赛季英超20球
上科大校长江绵恒:任何时候都不要急功近利,不要总是盯着位子、帽子和票子
巉什么意思(巉)
今日申购:金杨股份、明阳电气、仁信新材、芯动联科 今日讯
焦点信息:奔流新闻初探全国村BA筹备现场:包粽子、打糍粑、做姊妹饭……贵州台盘等客来!
iphone5s花屏处理方法_iphone5s花屏-焦点资讯
天天看点:网传鼠鸭之争最激烈时,涉事学校组织学生煽动风向,有何法律责任
【世界独家】深入剖析Android系统(关于深入剖析Android系统介绍)
全球微动态丨赵诣、林英睿、鲍无可…… 多位知名基金经理旗下产品打开大额申购
环球观天下!重点优抚对象和优抚对象有什么区别(参战军人重点优抚对象)
频繁的交易,基本上判了你被割韭菜的命运
每日热文:lol云顶之奕怎么升星英雄(云顶之奕怎么升星)
明天本轮降水结束!河南高温天气即将回归
弘信电子:与摩尔线程智能科技有限责任公司于2023年6月18日签署了《战略合作框架协议》
因地制宜因时制宜哲学道理_因地制宜 因时制宜
上海虹口三小区联合“团购”物业,不增加物业费享受品牌服务|速递
叙利亚一军车遭炸弹袭击 致3死6伤
央视主持人阿丘近况 中央电视台主持人阿丘
环球观察:建设现代化产业体系是一项系统工程
成都大运会解说团首次亮相_当前快报
全球通讯!江畔美术馆开馆
iFixit的最新MacStudio拆解揭示了M2Max的新型号M2Ultra选项与去年完全无法区分_最新资讯
“点滴的变化”换来“稳稳的幸福” 瞄准基本民生 促进民族团结 全球独家
天天滚动:买1根牛肉干被偷塞5根称重?衢州通报:情况属实
环球聚焦:“双语联通四海 共话法治自贸”首场双语法律沙龙举行
固态电池能不能拯救丰田?
世界最新:湖南卫视快乐大本营张雨绮(张雨薇快乐大本营)
网友吐槽"高考后还要被防沉迷限玩" 腾讯高情商回应
4444克等于多少斤 4444k 环球速递
领导工作应作为一门科学来研究这主要是因为_30岁了想学一门技术 什么技术学了好找工作
w799参数_三星w789水货
【视线】影视剧联动非遗成热门
热推荐:北京歌华有线宽带资费(北京歌华有线宽带缴费地点)
爸,我想和您喝杯酒 世界新资讯
刚刚,第二十五届上海国际电影节金爵奖主竞赛单元获奖名单出炉_今日热门
湖北幼儿师范高等专科学校百科_湖北幼儿师范高等专科学校相关内容简介介绍
快看点丨温暖的抱抱简介200字(温暖的抱抱简介)
如何彻底退出微信群(如何彻底退出微信群聊 不被别人找到)_全球热文
武夷岩茶属于什么茶叶_武夷岩茶属于什么茶
prisoners armed with baseball|环球观察
新消息丨突发!广西惨烈车祸:2人被碾压身亡,惨不忍睹,更多内幕曝光
热文:热到中暑怎么办?这些错误千万别犯!
暗黑4环绕刀锋威能获得攻略 短讯
世界微动态丨我国三北防护林建设工程取得积极进展 实现历史性转变
艾青现代诗春天简短 艾青的现代诗春天 当前要闻
环球精选!硫酸镁商品报价动态(2023-06-17)
梦回三国|血战陈仓_世界新动态
明天盛大开幕,电竞、美食节!
国象联赛第十轮战罢山东北京成都争夺前八资格|当前要闻
商场企划经理岗位职责_企划经理岗位职责和任职要求
X 广告
行业动态
X 广告

Copyright ©  2015-2022 时代植物网版权所有  备案号:   联系邮箱: 514 676 113@qq.com