在数字化时代,海量数据的传输已经成为我们生活中不可或缺的一部分。然而,传输大量的数据可能面临诸多挑战,如传输速度慢、网络拥堵等问题。吉利星睿数据智能产业学院系列横向课题正式发布,系列横向课题涉及数据治理、大模型测评、数据集建设等多个领域。
此合作课题方向为海量数据传输全链路可观测体系。为的是通过多维观测数据链路trace、时序指标metric、日志明细log,进行清洗、关联、聚合等有机融合构建体系化的观测体系,具备主动发现性能瓶颈、快速感知故障、高效故障恢复的能力,任务目标包括构建观测数据采集平台、构建统一日志分析平台和建立告警管理功能并具备对指定数据内容查询链路时延分析能力。
基于吉利星睿数据智能产业学院的验收标准,此课题将达到以下四点:
1、开发可观测数据采集功能,数据采集性能稳定可靠,对业务系统不入侵或少入侵,支持重复采集;
2、开发日志分析平台,支持TB级数据检索能力,支持查看各指标的趋势图;
3、开发告警功能,可配置告警规则,输出告警信息;
4、对于指定数据内容,能够呈现路径上的时延开销。
海量数据传输优化是通过提高数据处理效率实现对优化资源利用、提供更准确的分析结果,还能更好地利用数据资产,实现数据驱动的业务增长和持续竞争优势。总而言之,海量数据优化将推动未来科技的发展,带来更智能的决策和服务。对企业,可以提高效率和竞争力;对学术界,有助于深入研究和发现;对个人,提供个性化的体验和便利。