一、亟待解决的五大难题

1、如何解码原始二进制日志文件？

虹科CANedge数据记录仪以MDF（*.MF4）格式记录原始CAN数据，包括带有时间戳的“CAN ID”和“数据字节”。为了使这些数据对用户可读，需要通过软件/API工具和CAN（DBC）数据库文件进行解码。

2、如何实现跨TB数据的低成本可视化？

一台虹科CANedge物联网设备每月可能产生超过50GB的数据，甚至累积至TB级别，而将这些数据存储在基于云的时间序列数据库中的成本过高。同时，数据查询的速度也应相当快，以便用户能够有效地处理数据。

3、如何保留原始报文时间戳？

CAN网络中的每个报文都有其独特的时间光栅，集成方案必须保留这些原始时间戳，以便用户能够查看从秒到月的数据。

4、如何让用户自主部署？

虹科CSS不提供服务器或服务托管，而是让用户自行设置。这要求部署过程简单，以适应对数据敏感性有严格要求的用户。

5、如何保持不可知性？

虹科CANedge设备支持多种数据收集方式，例如，用户可使用👉 虹科CANedge1（了解详情）将数据记录到SD卡中，以便离线使用，也可以使用👉 虹科CANedge2/CANedge3（了解详情）通过 WiFi/LTE（4G）将数据收集到S3服务器中。因此，集成方案需要能够适应这些不同的后端存储选项。

二、虹科Grafana-Athena集成解决方案

为了应对上述集成挑战，虹科CSS推出了“Grafana-Athena”仪表板集成方案，提供了一种高效且用户友好的数据可视化方案。

集成方案的设置步骤

■ 数据上传： 虹科CANedge记录仪将CAN/LIN数据上传至AWS S3的“input bucket”。

■ 触发Lambda函数： 日志文件上传后，自动触发一个Lambda函数。

■ 数据解码： Lambda函数使用DBC文件将原始数据解码为Parquet格式。

■ 数据存储： 解码后的Parquet文件被写入AWS S3的“output bucket”。

■ 数据可视化： Grafana通过亚马逊Athena插件，将“data lake”中的数据进行可视化。

■ 快速部署： 整个设置可以在15分钟内自动部署完成，无需任何编码工作。

虹科Grafana-Athena的部署过程完全由用户自主完成，即使是没有Grafana或AWS使用经验的用户也能轻松上手。虹科CSS为此提供了即插即用的AWS CloudFormation堆栈，以及详细的部署指导。

用户只需将DBC文件和Lambda函数压缩包上传至S3 input bucket，然后使用CloudFormation堆栈模板部署Lambda函数、S3 input bucket、Athena和Glue。部署完成后，用户将获得必要的凭据，以便在Grafana云数据源设置中验证Athena的凭证。无需担心Parquet数据湖的构建细节，因为这一切都由虹科CSS Electronics预制的AWS Lambda函数自动完成，同时确保数据湖按日期进行最佳分区。

三、五大显著优势

1、高性能与低成本查询

传统的Grafana-InfluxDB集成在处理大规模数据时成本较高。相比之下，虹科Grafana-Athena集成通过AWS S3存储和Athena的无服务器查询，显著降低了成本，同时保持了高效的查询性能。

2、无需编码，15分钟内完成部署

利用AWS CloudFormation模板和预配置的Lambda函数，用户可以在15分钟内完成部署，无需任何编程知识，大大简化了部署流程。

3、无缝跨时间尺度分析

用户可以轻松地在Grafana中进行跨年或跨毫秒的数据查询和分析，得益于data lake中保留的原始时间戳和Grafana的即时重新采样功能。

4、多功能数据湖与SQL接口

基于S3的Parquet data lake不仅支持Grafana可视化，还可以直接用于Python/Matlab查询和Excel报告，提供了一个全面的数据分析平台。

5、灵活的部署选项

本文主要探讨了Amazon Athena集成方案，这是由于虹科CSS的多数用户已经采用AWS S3来存储CANedge2/CANedge3设备生成的数据。

四、应用案例：原型车队数据可视化

一位汽车OEM的工程师负责监控50辆原型车的CAN数据，目的是进行深入的后期诊断分析。通过部署虹科CANedge3数据记录仪，工程师能够自动收集关键的车辆运行数据。

数据收集与处理

■ 自动化数据上传： 利用3G/4G蜂窝网络，虹科CANedge3设备将二进制日志文件自动上传至公司专用的AWS S3服务器。

■ 数据处理： 存储在S3 input bucket中的日志文件触发一个Lambda函数，该函数使用相应的DBC文件自动解码数据，并将解码后的数据转换为Parquet格式，存储在另一个S3 output bucket中。

数据可视化与分析

■ 定制Grafana面板： 用户现在可以利用定制的Grafana仪表板，通过Athena插件直接查询Parquet data lake中的数据。

■ 多维度分析： 这种设置为工程师提供了强大的工具，不仅可以进行实时监控，还可以进行深入的诊断、基准测试和统计分析，从而优化车辆性能和设计。

通过这种集成方案，汽车OEM能够实现数据的高效管理和分析，加速研发流程，提高原型车测试的质量和效率。

结语

采用Grafana-Athena集成方案，虹科成功为用户实现了显著的成本节约，成本降低超过95%。这一集成不仅优化了数据管理和可视化流程，还为其他企业在处理大规模数据时提供了一种经济高效的Grafana面板可视化策略。更多相关信息，欢迎咨询虹科工作人员。

了解更多虹科技术资讯，欢迎前往【虹科智能互联】官方网站：https://www.intelnect.com/category/technical-article/  

联系虹科：18138758797