浅聊适用于大规模充电场站的深度强化学习有序充电策略

张继冬

安科瑞电气股份有限公司 上海嘉定 201801

摘要： 随着电动汽车的快速普及，大规模充电场站的有序充电管理成为亟待解决的重要问题。本文深入探讨了适用于大规模充电场站的深度强化学习有序充电策略。首先介绍了大规模充电场站有序充电的研究背景和意义，分析了当前面临的挑战。接着阐述了深度强化学习的基本原理及其在有序充电策略制定中的优势。随后详细描述了基于深度强化学习的有序充电策略的具体设计与实现过程，包括状态表示、动作选择、奖励函数设定等方面。最后通过模拟实验或实际案例分析了该策略的应用效果，展示了其在提高充电效率、降低电网负荷冲击、优化能源利用等方面的显著成效，为大规模充电场站的高效运营提供了有力的理论支持和实践指导。

2.2电网负荷平衡的要求

3.2.1能够处理复杂的非线性关系

5安科瑞充电桩收费运营云平台助力有序充电开展

5.1概述

AcrelCloud-9000安科瑞充电柱收费运营云平台系统通过物联网技术对接入系统的电动电动自行车充电站以及各个充电整法行不间断地数据采集和监控，实时监控充电桩运行状态，进行充电服务、支付管理，交易结算，资要管理、电能管理，明细查询等。同时对充电机过温保护、漏电、充电机输入/输出过压，欠压，绝缘低各类故障进行预警；充电桩支持以太网、4G或WIFI等方式接入互联网，用户通过微信、支付宝，云闪付扫码充电。

5.2应用场所

适用于民用建筑、一般工业建筑、居住小区、实业单位、商业综合体、学校、园区等充电桩模式的充电基础设施设计。

5.3系统结构

系统分为四层：

（1）即数据采集层、网络传输层、数据层和客户端层。

（2）数据采集层：包括电瓶车智能充电桩通讯协议为标准modbus-rtu。电瓶车智能充电桩用于采集充电回路的电力参数，并进行电能计量和保护。

（3）网络传输层：通过4G网络将数据上传至搭建好的数据库服务器。

（4）数据层：包含应用服务器和数据服务器，应用服务器部署数据采集服务、WEB网站，数据服务器部署实时数据库、历史数据库、基础数据库。

（5）应客户端层：系统管理员可在浏览器中访问电瓶车充电桩收费平台。终端充电用户通过刷卡扫码的方式启动充电。

小区充电平台功能主要涵盖充电设施智能化大屏、实时监控、交易管理、故障管理、统计分析、基础数据管理等功能，同时为运维人员提供运维APP，充电用户提供充电小程序。

5.4安科瑞充电桩云平台系统功能

5.4.1智能化大屏

智能化大屏展示站点分布情况，对设备状态、设备使用率、充电次数、充电时长、充电金额、充电度数、充电桩故障等进行统计显示，同时可查看每个站点的站点信息、充电桩列表、充电记录、收益、能耗、故障记录等。统一管理小区充电桩，查看设备使用率，合理分配资源。

5.4.2实时监控

实时监视充电设施运行状况，主要包括充电桩运行状态、回路状态、充电过程中的充电电量、充电电压电流，充电桩告警信息等。

5.4.3交易管理

平台管理人员可管理充电用户账户，对其进行账户进行充值、退款、冻结、注销等操作，可查看小区用户每日的充电交易详细信息。

5.4.4故障管理

设备自动上报故障信息，平台管理人员可通过平台查看故障信息并进行派发处理，同时运维人员可通过运维APP收取故障推送，运维人员在运维工作完成后将结果上报。充电用户也可通过充电小程序反馈现场问题。

5.4.5统计分析

通过系统平台，从充电站点、充电设施、、充电时间、充电方式等不同角度，查询充电交易统计信息、能耗统计信息等。

5.4.6基础数据管理

在系统平台建立运营商户，运营商可建立和管理其运营所需站点和充电设施，维护充电设施信息、价格策略、折扣、优惠活动，同时可管理在线卡用户充值、冻结和解绑。

5.4.7运维APP

面向运维人员使用，可以对站点和充电桩进行管理、能够进行故障闭环处理、查询流量卡使用情况、查询充电\充值情况，进行远程参数设置，同时可接收故障推送

5.4.8充电小程序

面向充电用户使用，可查看附近空闲设备，主要包含扫码充电、账户充值，充电卡绑定、交易查询、故障申诉等功能。

5.5系统硬件配置

6，总结

适用于大规模充电场站的深度强化学习有序充电策略为解决大规模充电场站面临的有序充电、电网负荷平衡和用户体验等诸多问题提供了一种有效的解决方案。通过合理的状态表示、动作选择和奖励函数设定，并经过充分的训练，该策略能够自适应地根据充电场站的实际情况和电网负荷动态变化制定出的充电策略。模拟实验和实际案例分析均表明，该策略在提高充电效率、降低电网负荷冲击、优化能源利用等方面具有显著成效。未来，随着电动汽车行业的进一步发展和深度强化学习技术的不断完善，该策略有望在更多的大规模充电场站中得到广泛应用，为推动电动汽车充电基础设施的高效运营和可持续发展做出更大贡献。

参考文献：

[1]陈果.适用于大规模充电场站的深度强化学习有序充电策略

[2]陈吕鹏，潘振宁，余涛，等.基于动态非合作博奔的大规模电动汽车实时优化调度

[3]安科瑞企业微电网设计与应用手册.2022.05版

作者介绍：
张继冬，男，现任职于安科瑞电气股份有限公司。