海外阿里云实名账号:企业级云数据库怎么完结增效降本？

本篇文章15251字，读完约38分钟

海外阿里云:企业级云数据库怎么完结增效降本？
                                                    国际阿里云代理 实名账号出售/代充
业务办理：
              国际阿里云、华为云、腾讯云、谷歌云、亚马逊云、微软云、
            （七牛云，优刻德，ucloud，聚名，西部数码，友盟，ip代理，天翼云，亿速云、小鸟云、尊云，）
              GPU服务器、对象存储oss、云数据库、负载均衡SLB、弹性IP 
              备案域名、高防ip、弹性服务器、cc防御，DDOS防御，地区+服务器。

阿里云服务，助力企业轻松上云，账号申请及售后服务请联系：TG客服：@laoying06 

01 概述
数字化已经成为企业进步事务功率、市场竞争力、办理才能的要害，后疫情年代经济复苏和企业从头起航需求较长时刻，大部分企业在这段时刻的中心战略是“收缩战线，精兵简政”，企业在上云、用云过程中，面对增效降本的诉求，作为数字化的中心技能---数据库怎么增效降本，和企业一起度过困难的阶段，是许多企业重视的论题。

阿里云瑶池数据库一直在考虑怎么给企业供给高效安稳的数据库处理计划，国际阿里云代理商一起帮企业节约IT本钱，并继续建造和构思增效降本的办法和途径。

02 事务痛点和应对考虑
2.1 企业上云、用云面对的数据库增效痛点

企业事务由小强大过程中，事务逐渐杂乱、事务类型日趋多元化、数据量逐渐变大、数据库实例数逐渐增加，需求构建高性价比、低本钱的数据库计划；数据库计划要具有高安稳性、高功用、健壮性好、架构简略易保护等特色；不同类型事务对数据库核算资源运用特色不同，需求具有灵敏、高弹性、适配性好核算资源供给方法以满意不同类型事务个性化运用需求；跟着数据量从较小逐渐增大，数据存储怎么更低本钱、更方便地存储和拜访以及可继续支撑事务，也是数据库计划的重要重视点；跟着研制团队的人员日趋增多和数据库实例的不断增加，怎么给研制团队供给安全、高效、低运用本钱的数据库计划的也成为企业负责人重视的重要论题。面对企业这些诉求，云数据库怎么在产品、计划侧应对的呢？

2.2 构建增效降本才能、战略和考虑

咱们首要考虑一个问题：将数据库定义为一种服务，对一个上云、用云企业，云数据库直观本钱包括哪些？

硬件本钱：云厂商承载数据库实例的服务器、网络、存储以及IDC根底设施本钱。
软件本钱：云厂商研制、迭代数据库软件的人力本钱，部分服务有软件采购本钱。
运用和保护本钱：企业运用数据库的人员花时刻学习、掌握技能，数据库需求技能人员保护。
时刻本钱：企业选用杂乱计划、低效计划、不安稳计划计划，有较长的学习时刻本钱和试错本钱。
数据处理本钱：为进步数据财物价值，企业探究数据运用方法和数据流通方法需求较大人力本钱。
对企业来说数据库本钱包括两个维度，一个是云厂商供给可继续服务的本钱，一个是企业运用和保护数据库的人力本钱和时刻投入本钱；增效降本计划需求“下降”软硬件本钱，并经过优势计划进步数据库运用人效、下降人力本钱和时刻本钱。

03 构建云原生数据库增效降本计划
3.1 数据库增效降本框架

云数据库完结增效降本，供给几个层面手段和计划：

数据库核算资源弹性，经过快速弹性升降配、主动弹性升降配、Serverless等方法进步弹性才能，充分使用云的弹性才能降本。
数据库存储资源，供给数据通明冷热分层、数据平滑归档、存储高紧缩比、新硬件增效降本等应对海量数据存储和拜访的高性价比计划。
数据库架构优化，供给数据库HTAP处理计划、多源会聚库、低本钱多级数仓等架构优化计划，下降运用本钱、开发保护本钱。
建造运维、研制增效计划，依据DMS的数据库DevOPS计划，依据DAS的构建数据库“主动驾驶”计划。
从下图能够看出云数据库供给的增效降本计划覆盖了数据核算、数据存储、数据流通、数据剖析、数据办理保护等不同事务阶段供企业挑选。


3.2 核算弹性增效将本

弹性是云原生数据库中心优势，能有用下降核算本钱，阿里云数据库一直致力于供给弹性才能更强计划给企业客户，云数据库的弹性才能阅历了三个阶段：

第一阶段是高弹性才能，将天、小时级弹性提速到分钟级。

第二阶段是主动弹升，支撑依据预测的主动弹性弹性和守时主动弹性弹性进步弹性才能。

第三阶段是建造和继续演进数据库Serverless才能，进一步进步资源使用率。


传统主从仿制架构数据库升降配和增加节点需求仿制数据，消耗时刻和数据物理巨细有关。国际阿里云代理商PolarDB凭借RDMA高速网络和共享存储才能，升降配增加节点与数据库巨细解耦，分钟级即可完结，可构建“流量突发型事务库”提效计划进步企业数据库弹性才能。

部分企业事务杂乱度高、多样化强、反常流量无法预测，对弹性计划提出了进化要求，数据库自治服务DAS的主动功用扩展结合PolarDB分钟级弹性供给分钟级主动弹升才能，许多企业客户凭借该才能躲避功用危险。云数据库RDS MySQL也支撑功用主动扩容才能，云原生数仓AnalyticDB经过分时弹性支撑守时主动弹升才能。

Serverless技能给资源弹升和计费带来更灵敏的才能，PolarDB攻坚了Serverless技能难点：资源解耦、主动弹性弹性、按运用量计费、秒级弹性扩展等。支撑无感BP Resize的本地Scale Up、跨机ScaleUp、跨机ScaleOut。云数据库RDS MySQL、云原生数据仓库AnalyticDB、云MongoDB也都具有了Serverless才能。


3.3 存储通明冷热分层、紧缩增效降本

数据存储是数据库的中心才能，云数据库凭借云根底设施构建和支撑不同技能目标、不同本钱、运用灵敏的存储计划。企业的事务数据类型、事务数据量、数据物理巨细跟着事务开展到必定阶段和量级面对以下痛点：单实例存储量大、存储本钱高、实时事务数据高功用拜访、海量数据高功用拜访诉求等。

云数据库经过以下几种技能计划来完结数据存储方面的提效和降本：

数据通明冷热分层存储读写
数据存储紧缩
自研X-Engine引擎前史库
硬件紧缩盘（Smart-SSD）
Tair PMEM耐久内存
3.3.1 通明冷热分层计划

冷热数据分层存储是应对很多数据存储常见计划，依据数据运用频率、文件巨细、文件类型等特征做数据冷热分层，选用适配的存储介质存储，满意存储海量数据、延长保存期限、下降存储本钱、进步数据拜访功率等诉求。

数据冷热分层的要害是通明冷热分层存储战略、冷热数据通明读取以及无感数据过期搬迁，一般以时刻字段作为区分冷热数据依据。如在Lindorm上，在表上配置数据冷热时刻分界点（COLD_BOUNDARY），Lindorm依据数据写入时刻戳(毫秒)来判别数据冷热。数据写入时优先存储于热存储，写入时刻超越冷热时刻分界点，major_compact时归档冷数据到冷存储介质。数据读取时主动依据查询时刻范围条件决议查询热区、冷区仍是冷热都查。

除了Lindorm，Clickhouse、PolarDB MySQL、AnalyticDB MySQL也支撑数据冷热分层存储和读取。

3.3.2 数据存储紧缩计划

除了将冷热数据分别存储到不同介质外，许多数据库支撑引擎层面选用紧缩算法来减少空间占用，如PolarDB X-Engine引擎，比照InnoDB引擎，最高可节约50%的存储空间；Lindorm内置深度优化的紧缩算法，数据紧缩率高达10:1以上。

X-Engine引擎行存数据紧缩


Tair是阿里云自研云原生内存数据库，完全兼容开源Redis，除了纯内存的产品形状，Tair凭借于新式存储介质——Intel 傲腾（AEP）耐久内存技能，完本钱钱低于于内存（DRAM）30%以上。

Tair耐久内存实例中，每条记录都确保写入AEP而且耐久化才回来，极大进步数据可靠性，能够做到RPO=0；读取途径上运用Dram缓存如索引、数据结构、元数信息等热点数据，加速数据拜访。


3.4 技能架构优化增效降本

跟着事务规划、用户量、事务杂乱度的进步，企业运用数据库的场景日趋杂乱，自建数据库服务面对着构建更多周边服务下降运用、学习本钱，云数据库供给多种技能架构优化计划，本段介绍HTAP处理计划、多源会聚库计划、依据湖仓一体的多级数仓计划。

3.4.1 HTAP处理计划

HTAP是数据库技能领域新概念，是在线事务（OLTP）和在线剖析（OLAP）合称简写。HTAP的最大长处是能够在一个数据库中支撑OLTP和OLAP事务，体系具有完整事务才能，支撑实时插入、实时删去、单条更新、批量导入、按索引查询、海量数据实时剖析等才能。

阿里云PolarDB MySQL经过列存索引IMCI和弹性多机并行ePQ使得PolarDB具有HTAP才能，支撑OLTP高并发读写的一起，大幅进步PolarDB在大数据量杂乱查询功用。优化器支撑依据价值的履行计划挑选，从IMCI->ePQ->MySQL原生串行查询，确保SQL 100%可解析履行。IMCI(In-Memory Column Index)节点和行存只读节点依据物理仿制确保推迟在毫秒至秒级，进步数据拜访的实时性。适用于亿至百亿事务数据杂乱查询提速、原生MySQL查询慢、事务混合负载事务查询提速。PolarDB HTAP计划在实际事务场景运用中最高能够达到百倍慢查询提速，畅捷通、金万维等客户都凭借HTAP计划为事务提速。HTAP计划事务架构图如下：


PolarDB IMCI经过列式存储高紧缩存放、按需读取需求剖析列、履行器算子并行履行、单个线程内算子数据交互以Batch为单位下降函数调用开支等技能结合配合弹性多机并行使得PolarDB成为一个真实的HTAP数据库体系。


弹性多机并行ePQ能够使用多核算节点资源进行并行查询，提速TB等级甚至单表10TB以上多表相关杂乱查询，突破单机CPU/IO瓶颈将多个节点核算资源打通，使用大局资源提速很多数据杂乱查询。


3.4.2 多源会聚库

多源会聚库是泛互联网企业做微服务拆分、数据库笔直拆分后常见的跨实例数据拜访、数据抽取、数据流通计划，为下降研制本钱考虑选用会聚库方法做拆分后跨库数据查询和数据流通。传统多源会聚库计划经过开源或商业数据仿制东西将多个事务库数据仿制到会聚库，会聚库结合代理软件向不同事务侧供给数据库服务，支撑跨库查询、数据抽取、数据下有仿制等，常见架构如下：


该计划满意跨库查询需求、数据向下流流通、慢查询导致事务库功用颤动问题，存在以下缺乏：数据仿制推迟大影响数据拜访质量、存储本钱高、开源代理不安稳保护本钱高、会聚库以及数据流通使命康复本钱高DBA保护压力大。

阿里云数据库供给依据PolarDB多主集群的多源会聚库计划，多主集群支撑一个集群多个主节点，恣意主节点都可拜访共享存储内一切数据，并能够在恣意主节点读写。不同主节点能够承载不同数据库支撑恣意主节点之间秒级切换数据库，能够经过大局读节点结合智能代理替代会聚库，支撑流量主动转发读写和负载均衡，架构如下图：


依据PolarDB多主集群构建的多源会聚库计划具有以下事务收益：

进步跨库聚合查询和数据向下流流通功率。
下降存储本钱：存储本钱占比高(50%以上)相对自建数据库可降本10%以上，某买卖属性客户搬迁后降本20%。
进步数据拜访质量：仿制推迟毫秒至秒。
进步反常康复速度：级扩容写节点、大局读节点高可用、分钟级新增几点。
DBA作业量低：反常切换康复操作方便、数据流通便利、便利授权。
3.4.3 依据湖仓一体的多级数仓计划

跟着事务数据不断增加和多样化，能够把数据大致分为两类，一类是结构化数据，另一类是非结构化数据。结构化数据最具代表性的数据库有Oracle和Teradata，但面对保护本钱+方针危险双重压力；半结构化或非结构化数据依据数据特征能够分为宽表、时序、图、key-value、文档等，这两类数据存储读取典型代表是Hadoop，但技能栈繁复、杂乱依赖个人才能，保护本钱过高。数据事务特性跟着时刻开展从传统商业事务数据，到互联网平台事务数据，再到万物互联的事务数据，数据规划也从GB级，到PB级，再到EB级。

数据作为企业的中心财物，跟着企业之间商业竞争日益剧烈，数据活动越快发生价值越大企业竞争力越强。传统数仓面对挑战越加严峻，大数据开展也从传统数仓开展到离线大数据年代来满意大数据量和数据多样化的诉求，企业对数据实时性要求越来越高，需求经过实时数仓以及湖仓一体来处理所面对的痛点。下面介绍依据阿里云构建实时数仓和湖仓一体的多级数仓计划。

怎么构建实时数仓

数仓一般分为ODS层、DWD层、DWS层和ADS层，数据分层越多，数据的实时性受影响越大。要构建实时数仓需求减少数据端到端的层数和并进步数据处理速度，数据分层结合数据事务需求，额外构建一套实时数仓，来满意实时事务场景。

依据现有数仓体系演进的架构就变成标准数仓分层+流核算+批处理，详细架构变成如下：


依据该规划理念衍生到阿里云实时数仓处理计划：


挑选数据传输服务DTS支撑事务数据到实时数据的数流通，实时数仓挑选云原生数据仓库AnalyticDB MySQL数仓版，湖仓一体计划挑选AnalyticDB湖仓版支撑，经过数据办理DMS支撑使命编列、数仓开发、ETL等功用，一起DMS还支撑流式ETL。

为何挑选DTS做数据实时流通

数据传输服务DTS支撑联系型数据库、NoSQL、大数据(OLAP)等数据源数据实时同步，供给功用丰厚、操作方便、数据实时仿制、传输功用强、支撑断点续传、易用性高、安全可靠的数据传输服务，简化数据流通作业，使数据开发人员能够专注数据事务开发。

为何挑选AnalyticDB？

云原生数据仓库AnalyticDB MySQL版是新一代云原生数据仓库，AnalyticDB支撑高吞吐数据实时增删改、低延时实时剖析和杂乱ETL，兼容上下流生态东西，可用于构建企业级报表体系、数据仓库和数据服务引擎。AnalyticDB具有以下优势：

兼容MySQL：高度兼容MySQL协议以及SQL 92、SQL 99、SQL 2003标准。
多租户：经过资源组完结核算资源隔离满意不同类型租户事务需求。
分时弹性：支撑定制弹性计划（每天守时、每周守时），事务高峰期来临前主动扩容满意事务流量增加需求，事务高峰往后缩容下降IT本钱。
AnalyticDB湖仓版

依据AnalyticDB湖仓版构建湖仓一体计划，内部存储支撑在线数据处理和查询，开放式存储支撑离线数据处理，能够辨认加载多种数据格式文件。具有云原生、主动数据冷热分层能、多租户、多种核算引擎等才能，支撑PB级数据实时、离线剖析，秒级到分钟级出成果，湖仓版架构图：


3.5 运维、研制流程增效计划

云数据库协助企业处理了资源弹性、高可用、备份、监控等根底运维问题，跟着事务开展、公司规划扩大，数据库运维团队面对着数据库集群规划化、研制流程化以及运维智能化建造需求。云数据库供给运维、研制流程增效计划：数据库DevOPS计划、数据库自治办理计划。

3.5.1 数据库DevOps计划

传统数据库研制模式一般会面对研制功率低、数据安全无保证、改变危险大等问题，比方新事务上线层次批阅后因“还没到窗口发布期”不得不推迟几个小时；多项目共用库表发布次序问题；新项目上线结构不合理慢SQL激增影响到出产环境。数据办理DMS供给了平台化、流程化数据库协同开发才能，使得构建、测试、发布数据库改改变方便、安全和可靠。

数据库开发规划阶段：表结构规划中，引入数据库规划规范。比方表名/列名带事务意义、必须有主键或UK等。DBA依据事务重要等级设置不同批阅发布流程，比方非中心库研制TL批阅、中心库必须DBA批阅，一方面适当放权另一方面进步出产体系安稳性。
SQL审阅阶段：项目正式发布前，避免不符合数据库开发规范的SQL（比方建表句子不含主键、索引过多等）发布到线上影响出产服务，需求审阅SQL句子、提出相关优化主张。
发布阶段：结构规划及测试完结、SQL审阅后，进入结构发布批阅流程。由体系做危险辨认，比方表数据量、索引数量、是否会锁表改变等，由批阅人员（一般数据库owner或许DBA）批阅承认，批阅经往后由研制挑选主动履行或许手动履行。
改变履行阶段：在履行阶段，需求一些战略来下降改变危险，比方对增加唯一索引、改变主键等需求选用无锁表结构改变、限制DDL并发数下降对体系影响等。也需求依据事务类型等级设置不同改变窗口，比方买卖相关数据库改变时刻设定在凌晨履行。
运维调优阶段：上线之后，要对改变内容进行继续重视，比方查询功用、会话并发数等等，需求从多个角度了解、并及时定位并处理数据库存在问题，保证服务安全性和安稳性。
除了数据库DevOps相关功用外，DMS也供给了愈加细粒度的安全战略：比方行等级拜访权限控制、防走漏数字水印、敏感数据脱敏保护、操作审计等，对数据库进行全方位保护。

3.5.2 数据库主动驾驶计划 DAS

跟着事务的开展，企业数据库集群不断增加，运维人员数量没有按份额增加，数据库运维平台化、主动化、智能化要求也是越来越高。人工智能、机器学习技能的开展，给数据库运维智能化带来新才能。如在SQL确诊与优化场景，数据库自治服务DAS便依据机器学习和专家经历，完结数据库“自感知、自修复、自优化、自运维及自安全”才能，企业能够“辅佐驾驶”数据库，下降保护本钱。DAS具有以下中心才能：


反常事情：体系搜集各种目标和事情，如QPS、TPS、CPU、IOPS等等，并对目标数据进行实时和离线剖析，能秒级获取到反常事情。
确诊主张：主动SQL优化服务从事情中心收反常事情，完结实例初步判别，向确诊引擎主张确诊请求并处理确诊成果，完结有用性评估，生成新的优化事情驱动下一步优化。
主张推送或主动优化：依据用户设置的自治战略，事情中心推送SQL优化主张给DBA判别履行，或在用户授权下主动履行优化，并承认履行情况。
效果盯梢和衡量：优化履行后，决议计划引擎发动盯梢使命，盯梢被优化SQL及相关SQL功用，如功用呈现衰退，则主动回滚。
DAS已具有“7 x 24实时反常检测、故障自愈、主动优化、智能调参、主动弹性、智能压测”等才能。并会继续开展主动化、智能化才能，数据库运维由目前的“辅佐驾驶”晋级为真实的“主动驾驶”。

04 增效降本计划展望
除了继续优化迭代核算降、存储降本、架构优化、流程增效等计划，帮企业增效降本之外，云数据库产品和处理计划，还好会依托云原生数据库和周边配套设施继续构建更丰厚、更高效、更高性价比的数据库处理计划，助力企业继续开展海外阿里云:企业级云数据库怎么完结增效降本？


01 概述
数字化已经成为企业进步事务功率、市场竞争力、办理才能的要害，后疫情年代经济复苏和企业从头起航需求较长时刻，大部分企业在这段时刻的中心战略是“收缩战线，精兵简政”，企业在上云、用云过程中，面对增效降本的诉求，作为数字化的中心技能---数据库怎么增效降本，和企业一起度过困难的阶段，是许多企业重视的论题。

阿里云瑶池数据库一直在考虑怎么给企业供给高效安稳的数据库处理计划，一起帮企业节约IT本钱，并继续建造和构思增效降本的办法和途径。

02 事务痛点和应对考虑
2.1 企业上云、用云面对的数据库增效痛点

企业事务由小强大过程中，事务逐渐杂乱、事务类型日趋多元化、数据量逐渐变大、数据库实例数逐渐增加，需求构建高性价比、低本钱的数据库计划；数据库计划要具有高安稳性、高功用、健壮性好、架构简略易保护等特色；不同类型事务对数据库核算资源运用特色不同，需求具有灵敏、高弹性、适配性好核算资源供给方法以满意不同类型事务个性化运用需求；跟着数据量从较小逐渐增大，数据存储怎么更低本钱、更方便地存储和拜访以及可继续支撑事务，也是数据库计划的重要重视点；跟着研制团队的人员日趋增多和数据库实例的不断增加，怎么给研制团队供给安全、高效、低运用本钱的数据库计划的也成为企业负责人重视的重要论题。面对企业这些诉求，云数据库怎么在产品、计划侧应对的呢？

2.2 构建增效降本才能、战略和考虑

咱们首要考虑一个问题：将数据库定义为一种服务，对一个上云、用云企业，云数据库直观本钱包括哪些？

硬件本钱：云厂商承载数据库实例的服务器、网络、存储以及IDC根底设施本钱。
软件本钱：云厂商研制、迭代数据库软件的人力本钱，部分服务有软件采购本钱。
运用和保护本钱：企业运用数据库的人员花时刻学习、掌握技能，数据库需求技能人员保护。
时刻本钱：企业选用杂乱计划、低效计划、不安稳计划计划，有较长的学习时刻本钱和试错本钱。
数据处理本钱：为进步数据财物价值，企业探究数据运用方法和数据流通方法需求较大人力本钱。
对企业来说数据库本钱包括两个维度，一个是云厂商供给可继续服务的本钱，一个是企业运用和保护数据库的人力本钱和时刻投入本钱；增效降本计划需求“下降”软硬件本钱，并经过优势计划进步数据库运用人效、下降人力本钱和时刻本钱。

03 构建云原生数据库增效降本计划
3.1 数据库增效降本框架

云数据库完结增效降本，供给几个层面手段和计划：

数据库核算资源弹性，经过快速弹性升降配、主动弹性升降配、Serverless等方法进步弹性才能，充分使用云的弹性才能降本。
数据库存储资源，供给数据通明冷热分层、数据平滑归档、存储高紧缩比、新硬件增效降本等应对海量数据存储和拜访的高性价比计划。
数据库架构优化，供给数据库HTAP处理计划、多源会聚库、低本钱多级数仓等架构优化计划，下降运用本钱、开发保护本钱。
建造运维、研制增效计划，依据DMS的数据库DevOPS计划，依据DAS的构建数据库“主动驾驶”计划。
从下图能够看出云数据库供给的增效降本计划覆盖了数据核算、数据存储、数据流通、数据剖析、数据办理保护等不同事务阶段供企业挑选。


3.2 核算弹性增效将本

弹性是云原生数据库中心优势，能有用下降核算本钱，阿里云数据库一直致力于供给弹性才能更强计划给企业客户，云数据库的弹性才能阅历了三个阶段：

第一阶段是高弹性才能，将天、小时级弹性提速到分钟级。

第二阶段是主动弹升，支撑依据预测的主动弹性弹性和守时主动弹性弹性进步弹性才能。

第三阶段是建造和继续演进数据库Serverless才能，进一步进步资源使用率。


传统主从仿制架构数据库升降配和增加节点需求仿制数据，消耗时刻和数据物理巨细有关。PolarDB凭借RDMA高速网络和共享存储才能，升降配增加节点与数据库巨细解耦，分钟级即可完结，可构建“流量突发型事务库”提效计划进步企业数据库弹性才能。

部分企业事务杂乱度高、多样化强、反常流量无法预测，对弹性计划提出了进化要求，数据库自治服务DAS的主动功用扩展结合PolarDB分钟级弹性供给分钟级主动弹升才能，许多企业客户凭借该才能躲避功用危险。云数据库RDS MySQL也支撑功用主动扩容才能，云原生数仓AnalyticDB经过分时弹性支撑守时主动弹升才能。

Serverless技能给资源弹升和计费带来更灵敏的才能，PolarDB攻坚了Serverless技能难点：资源解耦、主动弹性弹性、按运用量计费、秒级弹性扩展等。支撑无感BP Resize的本地Scale Up、跨机ScaleUp、跨机ScaleOut。云数据库RDS MySQL、云原生数据仓库AnalyticDB、云MongoDB也都具有了Serverless才能。


3.3 存储通明冷热分层、紧缩增效降本

数据存储是数据库的中心才能，云数据库凭借云根底设施构建和支撑不同技能目标、不同本钱、运用灵敏的存储计划。企业的事务数据类型、事务数据量、数据物理巨细跟着事务开展到必定阶段和量级面对以下痛点：单实例存储量大、存储本钱高、实时事务数据高功用拜访、海量数据高功用拜访诉求等。

云数据库经过以下几种技能计划来完结数据存储方面的提效和降本：

数据通明冷热分层存储读写
数据存储紧缩
自研X-Engine引擎前史库
硬件紧缩盘（Smart-SSD）
Tair PMEM耐久内存
3.3.1 通明冷热分层计划

冷热数据分层存储是应对很多数据存储常见计划，依据数据运用频率、文件巨细、文件类型等特征做数据冷热分层，选用适配的存储介质存储，满意存储海量数据、延长保存期限、下降存储本钱、进步数据拜访功率等诉求。

数据冷热分层的要害是通明冷热分层存储战略、冷热数据通明读取以及无感数据过期搬迁，一般以时刻字段作为区分冷热数据依据。如在Lindorm上，在表上配置数据冷热时刻分界点（COLD_BOUNDARY），Lindorm依据数据写入时刻戳(毫秒)来判别数据冷热。数据写入时优先存储于热存储，写入时刻超越冷热时刻分界点，major_compact时归档冷数据到冷存储介质。数据读取时主动依据查询时刻范围条件决议查询热区、冷区仍是冷热都查。

除了Lindorm，Clickhouse、PolarDB MySQL、AnalyticDB MySQL也支撑数据冷热分层存储和读取。

3.3.2 数据存储紧缩计划

除了将冷热数据分别存储到不同介质外，许多数据库支撑引擎层面选用紧缩算法来减少空间占用，如PolarDB X-Engine引擎，比照InnoDB引擎，最高可节约50%的存储空间；Lindorm内置深度优化的紧缩算法，数据紧缩率高达10:1以上。

X-Engine引擎行存数据紧缩

业界依据MySQL可插拔存储引擎才能供给了RocksDB、Tokudb、Infobright等具有紧缩才能的存储引擎应对联系型数据增加问题。阿里云X-Engine也是为处理海量联系型数据存储的数据引擎。X-Engine在LSM-Tree分层存储架构根底上进行了从头规划，依据数据拜访频度(冷热)的不同将数据划分为多个层次，针对每个层次数据的拜访特色规划对应存储结构，写入适宜存储设备。运用Copy-on-write技能，避免原地更新数据页，对只读数据页面进行编码紧缩，能够将存储空间下降至10%~50%。

Lindorm高紧缩才能

Lindorm在数据紧缩方面也供给了十分优秀的才能，供给超10倍数据紧缩比。

字典紧缩：Lindorm宽表依据LSM-Tree引擎构建数据存储，通用紧缩算法上结合ZSTD深度定制，推出字典紧缩才能—主动提取数据样本采样剖析，依据数据特质，智能挑选适宜的编码紧缩参数，提取公共字典消除字典结构带来的额外开支，进一步进步了数据的紧缩比率与紧缩速度。
时序数据专用紧缩算法：Lindorm时序引擎凭借TSM架构完结时序数据的高效写入，选用定制时序紧缩算法进步紧缩比，最高可达15:1的紧缩率比。
本地盘HDD与ESSD异构副本：Lindorm经过LindormDFS异构副本完结1副本ESSD+2HDD冗余，经过HDD盘低本钱优势结合冷热分层显著下降存储本钱。
3.3.3 新硬件新技能计划

硬件紧缩盘（Smart-SSD）PSL4

PolarDB引入阿里巴巴自研Aliflash Smart-SSD技能，在物理SSD磁盘层面紧缩、解紧缩存储的数据，完结功用零损耗下数据存储本钱最高下降 60%。硬件紧缩盘的紧缩引擎集成在盘片内部，经过FPGA/ASIC供给专用算力在数据读写过程中实时紧缩、解紧缩数据，从而节约存储空间。


Tair耐久内存

Tair是阿里云自研云原生内存数据库，完全兼容开源Redis，除了纯内存的产品形状，Tair凭借于新式存储介质——Intel 傲腾（AEP）耐久内存技能，完本钱钱低于于内存（DRAM）30%以上。

Tair耐久内存实例中，每条记录都确保写入AEP而且耐久化才回来，极大进步数据可靠性，能够做到RPO=0；读取途径上运用Dram缓存如索引、数据结构、元数信息等热点数据，加速数据拜访。


3.4 技能架构优化增效降本

跟着事务规划、用户量、事务杂乱度的进步，企业运用数据库的场景日趋杂乱，自建数据库服务面对着构建更多周边服务下降运用、学习本钱，云数据库供给多种技能架构优化计划，本段介绍HTAP处理计划、多源会聚库计划、依据湖仓一体的多级数仓计划。

3.4.1 HTAP处理计划

HTAP是数据库技能领域新概念，是在线事务（OLTP）和在线剖析（OLAP）合称简写。HTAP的最大长处是能够在一个数据库中支撑OLTP和OLAP事务，体系具有完整事务才能，支撑实时插入、实时删去、单条更新、批量导入、按索引查询、海量数据实时剖析等才能。

阿里云PolarDB MySQL经过列存索引IMCI和弹性多机并行ePQ使得PolarDB具有HTAP才能，支撑OLTP高并发读写的一起，大幅进步PolarDB在大数据量杂乱查询功用。优化器支撑依据价值的履行计划挑选，从IMCI->ePQ->MySQL原生串行查询，确保SQL 100%可解析履行。IMCI(In-Memory Column Index)节点和行存只读节点依据物理仿制确保推迟在毫秒至秒级，进步数据拜访的实时性。适用于亿至百亿事务数据杂乱查询提速、原生MySQL查询慢、事务混合负载事务查询提速。PolarDB HTAP计划在实际事务场景运用中最高能够达到百倍慢查询提速，畅捷通、金万维等客户都凭借HTAP计划为事务提速。HTAP计划事务架构图如下：


PolarDB IMCI经过列式存储高紧缩存放、按需读取需求剖析列、履行器算子并行履行、单个线程内算子数据交互以Batch为单位下降函数调用开支等技能结合配合弹性多机并行使得PolarDB成为一个真实的HTAP数据库体系。


弹性多机并行ePQ能够使用多核算节点资源进行并行查询，提速TB等级甚至单表10TB以上多表相关杂乱查询，突破单机CPU/IO瓶颈将多个节点核算资源打通，使用大局资源提速很多数据杂乱查询。


3.4.2 多源会聚库

多源会聚库是泛互联网企业做微服务拆分、数据库笔直拆分后常见的跨实例数据拜访、数据抽取、数据流通计划，为下降研制本钱考虑选用会聚库方法做拆分后跨库数据查询和数据流通。传统多源会聚库计划经过开源或商业数据仿制东西将多个事务库数据仿制到会聚库，会聚库结合代理软件向不同事务侧供给数据库服务，支撑跨库查询、数据抽取、数据下有仿制等，常见架构如下：


该计划满意跨库查询需求、数据向下流流通、慢查询导致事务库功用颤动问题，存在以下缺乏：数据仿制推迟大影响数据拜访质量、存储本钱高、开源代理不安稳保护本钱高、会聚库以及数据流通使命康复本钱高DBA保护压力大。

阿里云数据库供给依据PolarDB多主集群的多源会聚库计划，多主集群支撑一个集群多个主节点，恣意主节点都可拜访共享存储内一切数据，并能够在恣意主节点读写。不同主节点能够承载不同数据库支撑恣意主节点之间秒级切换数据库，能够经过大局读节点结合智能代理替代会聚库，支撑流量主动转发读写和负载均衡，架构如下图：


依据PolarDB多主集群构建的多源会聚库计划具有以下事务收益：


数据作为企业的中心财物，跟着企业之间商业竞争日益剧烈，数据活动越快发生价值越大企业竞争力越强。传统数仓面对挑战越加严峻，大数据开展也从传统数仓开展到离线大数据年代来满意大数据量和数据多样化的诉求，企业对数据实时性要求越来越高，需求经过实时数仓以及湖仓一体来处理所面对的痛点。下面介绍依据阿里云构建实时数仓和湖仓一体的多级数仓计划。

怎么构建实时数仓

数仓一般分为ODS层、DWD层、DWS层和ADS层，数据分层越多，数据的实时性受影响越大。要构建实时数仓需求减少数据端到端的层数和并进步数据处理速度，数据分层结合数据事务需求，额外构建一套实时数仓，来满意实时事务场景。

依据现有数仓体系演进的架构就变成标准数仓分层+流核算+批处理，详细架构变成如下：


依据该规划理念衍生到阿里云实时数仓处理计划：


挑选数据传输服务DTS支撑事务数据到实时数据的数流通，实时数仓挑选云原生数据仓库AnalyticDB MySQL数仓版，湖仓一体计划挑选AnalyticDB湖仓版支撑，经过数据办理DMS支撑使命编列、数仓开发、ETL等功用，一起DMS还支撑流式ETL。

为何挑选DTS做数据实时流通

数据传输服务DTS支撑联系型数据库、NoSQL、大数据(OLAP)等数据源数据实时同步，供给功用丰厚、操作方便、数据实时仿制、传输功用强、支撑断点续传、易用性高、安全可靠的数据传输服务，简化数据流通作业，使数据开发人员能够专注数据事务开发。

为何挑选AnalyticDB？

云原生数据仓库AnalyticDB MySQL版是新一代云原生数据仓库，AnalyticDB支撑高吞吐数据实时增删改、低延时实时剖析和杂乱ETL，兼容上下流生态东西，可用于构建企业级报表体系、数据仓库和数据服务引擎。AnalyticDB具有以下优势：

兼容MySQL：高度兼容MySQL协议以及SQL 92、SQL 99、SQL 2003标准。
多租户：经过资源组完结核算资源隔离满意不同类型租户事务需求。
分时弹性：支撑定制弹性计划（每天守时、每周守时），事务高峰期来临前主动扩容满意事务流量增加需求，事务高峰往后缩容下降IT本钱。
AnalyticDB湖仓版

依据AnalyticDB湖仓版构建湖仓一体计划，内部存储支撑在线数据处理和查询，开放式存储支撑离线数据处理，能够辨认加载多种数据格式文件。具有云原生、主动数据冷热分层能、多租户、多种核算引擎等才能，支撑PB级数据实时、离线剖析，秒级到分钟级出成果，湖仓版架构图：


3.5 运维、研制流程增效计划

云数据库协助企业处理了资源弹性、高可用、备份、监控等根底运维问题，跟着事务开展、公司规划扩大，数据库运维团队面对着数据库集群规划化、研制流程化以及运维智能化建造需求。云数据库供给运维、研制流程增效计划：数据库DevOPS计划、数据库自治办理计划。

3.5.1 数据库DevOps计划

传统数据库研制模式一般会面对研制功率低、数据安全无保证、改变危险大等问题，比方新事务上线层次批阅后因“还没到窗口发布期”不得不推迟几个小时；多项目共用库表发布次序问题；新项目上线结构不合理慢SQL激增影响到出产环境。数据办理DMS供给了平台化、流程化数据库协同开发才能，使得构建、测试、发布数据库改改变方便、安全和可靠。

数据库开发规划阶段：表结构规划中，引入数据库规划规范。比方表名/列名带事务意义、必须有主键或UK等。DBA依据事务重要等级设置不同批阅发布流程，比方非中心库研制TL批阅、中心库必须DBA批阅，一方面适当放权另一方面进步出产体系安稳性。
SQL审阅阶段：项目正式发布前，避免不符合数据库开发规范的SQL（比方建表句子不含主键、索引过多等）发布到线上影响出产服务，需求审阅SQL句子、提出相关优化主张。
发布阶段：结构规划及测试完结、SQL审阅后，进入结构发布批阅流程。由体系做危险辨认，比方表数据量、索引数量、是否会锁表改变等，由批阅人员（一般数据库owner或许DBA）批阅承认，批阅经往后由研制挑选主动履行或许手动履行。
改变履行阶段：在履行阶段，需求一些战略来下降改变危险，比方对增加唯一索引、改变主键等需求选用无锁表结构改变、限制DDL并发数下降对体系影响等。也需求依据事务类型等级设置不同改变窗口，比方买卖相关数据库改变时刻设定在凌晨履行。
运维调优阶段：上线之后，要对改变内容进行继续重视，比方查询功用、会话并发数等等，需求从多个角度了解、并及时定位并处理数据库存在问题，保证服务安全性和安稳性。
除了数据库DevOps相关功用外，DMS也供给了愈加细粒度的安全战略：比方行等级拜访权限控制、防走漏数字水印、敏感数据脱敏保护、操作审计等，对数据库进行全方位保护。

3.5.2 数据库主动驾驶计划 DAS

跟着事务的开展，企业数据库集群不断增加，运维人员数量没有按份额增加，数据库运维平台化、主动化、智能化要求也是越来越高。人工智能、机器学习技能的开展，给数据库运维智能化带来新才能。如在SQL确诊与优化场景，数据库自治服务DAS便依据机器学习和专家经历，完结数据库“自感知、自修复、自优化、自运维及自安全”才能，企业能够“辅佐驾驶”数据库，下降保护本钱。DAS具有以下中心才能：


反常事情：体系搜集各种目标和事情，如QPS、TPS、CPU、IOPS等等，并对目标数据进行实时和离线剖析，能秒级获取到反常事情。
确诊主张：主动SQL优化服务从事情中心收反常事情，完结实例初步判别，向确诊引擎主张确诊请求并处理确诊成果，完结有用性评估，生成新的优化事情驱动下一步优化。
主张推送或主动优化：依据用户设置的自治战略，事情中心推送SQL优化主张给DBA判别履行，或在用户授权下主动履行优化，并承认履行情况。
效果盯梢和衡量：优化履行后，决议计划引擎发动盯梢使命，盯梢被优化SQL及相关SQL功用，如功用呈现衰退，则主动回滚。
DAS已具有“7 x 24实时反常检测、故障自愈、主动优化、智能调参、主动弹性、智能压测”等才能。并会继续开展主动化、智能化才能，数据库运维由目前的“辅佐驾驶”晋级为真实的“主动驾驶”。

04 增效降本计划展望

除了继续优化迭代核算降、存储降本、架构优化、流程增效等计划，帮企业增效降本之外，国际阿里云代理商云数据库产品和处理计划，还好会依托云原生数据库和周边配套设施继续构建更丰厚、更高效、更高性价比的数据库处理计划，助力企业继续开展

TG客服：@laoying06 

来源：企业信息港