大数据容器化
大数据容器化
该主题还没有描述

最新

银行大数据容器化·2024-05-06
jillme课题专家组 · 某大型银行 擅长领域:数据库, 国产数据库, 人工智能
17 会员关注
如何加强容器的安全防护措施,确保数据的安全性和隐私性?针对这块我谈谈我的一些看法希望能给你带来参考:除去正常数据安全和隐私性的额保护措施,单说容器的:减少配置不当,例如:开启特权模式(privileged)、挂载Docker Socket逃逸、挂载宿主机procfs逃逸、Docker Remote API未授权访...
银行大数据容器化·2024-05-06
强哥之神 · 上汽集团云计算中心 擅长领域:云计算, 容器, 服务器
13 会员关注
1、合理分配资源:通过资源隔离(比如采用K8S不同的namespace并分配不同的租户quota)、优先级和抢占(采用不同的PriorityClass )、资源限制(不同的limit、request,quota等)手段。2、容器调度:设置专用节点标签,设置pod的亲和与反亲和特性等手段。3、业务增长时,一般需要结合监控(如 Pr...
银行大数据容器化·2024-05-06
强哥之神 · 上汽集团云计算中心 擅长领域:云计算, 容器, 服务器
13 会员关注
我觉得需要根据场景,来选择合适的网络插件对容器之间的网络性能和管理非常重要的。容器化中,常见的CNI插件包括Calico、Flannel、Weave和Cilium等,下面简单介绍一下各使用场景:Calico :提供高性能、可扩展的网络解决方案,支持网络策略和BGP路由。Flannel :简单易用,适合小规模集...
银行大数据容器化·2024-05-06
强哥之神 · 上汽集团云计算中心 擅长领域:云计算, 容器, 服务器
13 会员关注
我觉得主要得需要关注在性能、高可用性、扩展能力、安全性及成本等方面的技术指标,我就简单地说明如下:1、评估在容器化环境下运行大数据作业的性能,包括作业执行时间、资源利用率等。 2、评估容器化大数据平台对于节点故障、容器故障等异常情况的处理能力,包括自动故障转移...
银行大数据容器化·2024-05-06
强哥之神 · 上汽集团云计算中心 擅长领域:云计算, 容器, 服务器
13 会员关注
大数据平台容器化的技术路线可以基于不同的容器编排和管理工具,常见的包括K8S、Docker Swarm和Mesos等。现在一般是用K8S了。因为我们主要使用的K8S,我就谈谈K8S的优点吧:1、K8S是目前最流行的容器编排平台,拥有庞大的社区支持和丰富的生态系统,提供了丰富的功能和工具。2、K8...
银行大数据·2024-05-06
强哥之神 · 上汽集团云计算中心 擅长领域:云计算, 容器, 服务器
13 会员关注
在大数据作业容器化部署后,日志收集、监控告警和异常诊断是保障系统稳定性和运行效率的关键环节 。1、确保大数据作业容器中的日志输出符合统一的格式和标准 ,使用日志聚合工具(比如Fluentd、Filebeat)收集大数据作业容器的日志,并发送到公司的统一日志平台进行存储和分析。2...
银行大数据·2024-05-06
强哥之神 · 上汽集团云计算中心 擅长领域:云计算, 容器, 服务器
13 会员关注
1、对于部分要求有状态,那么确保有状态服务的数据可靠性和可扩展性,可以使用分布式存储系统 。(比如ceph,hdfs,glusterfs等)2、设计和部署要实现高可用架构,避免单点故障影响系统稳定性。 (比如:多副本部署、负载均衡等)3、要使用自动化工具和监控系统,确保及时发现和解决问题,保...
容器云·2024-04-29
  • 时间:2024-05-07 14:00
  • 地点:线上活动
  • 状态:已结束
  • 浏览25377
    报名4

      描述

      该主题还没有描述
      X社区推广
    • 提问题