数据开发

数据开发 数据开发
数据开发

数据开发是一站式敏捷大数据开发平台,基于批流一体、湖仓一体架构,统一管理实时、离线数据,提供一站式开发和运维,全流程可视化,具备高性能、高可用数据处理能力,对大数据计算、数据仓库建设等多种应用场景提供有效支撑。

数据开发是一站式敏捷大数据开发平台,基于批流一体、湖仓一体架构,统一管理实时、离线数据,提供一站式开发和运维,全流程可视化,具备高性能、高可用数据处理能力,对大数据计算、数据仓库建设等多种应用场景提供有效支撑。
产品优势
全流程可视化智能开发

一个平台覆盖完整数据开发流程,全流程可视化操作附带语法提示,让用户快速上手。自研调度系统,可支持每日千万级实例调度。

开放兼容的开发环境

支持多类型多版本的大数据底座,包括云数仓(AWS Redshift等)、传统数仓(Oracle等)、MPP数仓(OceanBase、StarRocks、Doris等)、Hadoop(CDH、TDH、MRS等)、混合型。

无缝集成湖仓能力

从表格式层统一流和批表,融合各类引擎能力,实现数据入湖,湖内建仓整个数据链路的批流融合。

核心能力
数据集成

提供可跨异构数据存储系统能力、可靠、安全、低成本、可弹性扩展的数据同步平台。并提供不同网络环境下的数据同步通道,支持配置、调试、日志、版本管理等功能,通过可视化配置的方式,实现数据集成流程的快速编排。具备实时同步、离线同步、整库同步能力,同时实现全量、增量的同步。

数据开发IDE

集批流开发为一体,提供可视化的代码编辑器,支持快速进行代码开发、任务编排、运行查询、错误处理以及性能优化等复杂操作,预设SQL、Spark、Flink、Shell、Python、机器学习等多种任务类型,通过拖拽方式形成工作流开发,完成复杂数据的分析处理。

任务调度

提供单次调度和周期调度,周期调度支持分钟、小时、天、周、月、年多种调度周期的可视化配置,支持同周期依赖和跨周期依赖。并且开发套件内置多种系统调度参数,能动态适配环境变化,满足大多数场景的任务配置需求,同时可支持灵活的自定义参数配置。自主研发的任务调度引擎,单台虚拟机最高支持千万级别任务调度,让数据加工更流畅。

智能运维

全托管运维监控能力,提供任务日常运维操作、任务运行情况监控和异常情况告警等功能。并提供基线预警、基线诊断等能力,帮助运维人员提前感知实例运行超时风险,通过自动诊断功能快速定位问题。基于离线和实时任务的不同执行特性,提供不同的运维管理能力。

核心能力
数据集成

提供可跨异构数据存储系统能力、可靠、安全、低成本、可弹性扩展的数据同步平台。并提供不同网络环境下的数据同步通道,支持配置、调试、日志、版本管理等功能,通过可视化配置的方式,实现数据集成流程的快速编排。具备实时同步、离线同步、整库同步能力,同时实现全量、增量的同步。

数据开发IDE
任务调度
智能运维
应用场景
企业级数据仓库构建

业务痛点


数据分散,系统隔离程度高,多种权限管控,造成数据使用门槛高、应用程度低。

数据类型复杂,存在结构不统一、时间粒度不一致等问题,数据融合存在障碍。


业务价值


拥有一站式建设数据集成、开发、运维、安全等能力,为企业建设全域数据仓库提供基础设施,利用全域数据去驱动业务,构成业务与数据联通的闭环,让数据发挥更大价值。

企业级数据仓库构建

业务痛点


数据分散,系统隔离程度高,多种权限管控,造成数据使用门槛高、应用程度低。

数据类型复杂,存在结构不统一、时间粒度不一致等问题,数据融合存在障碍。


业务价值


拥有一站式建设数据集成、开发、运维、安全等能力,为企业建设全域数据仓库提供基础设施,利用全域数据去驱动业务,构成业务与数据联通的闭环,让数据发挥更大价值。