CAT蓄电池考虑电池老化的自适应巡航控制与混合动力汽车能量管理协同优化：一种基于约束混合动作强化学习的方法
来源：
卡特蓄电池 发布时间：2026-03-17 10:57:41 点击： 次
图文摘要
Introduction
在全球气候变化与可持续发展目标的双重背景下，节能减排已成为关键挑战。这一现实要求交通领域采取更具可持续性的实践方案，包括实施先进的车辆控制策略。自适应巡航控制系统（ACC）作为先进的驾驶辅助系统，通过多种传感器实现车速自动调节[1]，在确保与前车安全距离的同时提升驾驶舒适性与燃油经济性[2]。与此同时，能量管理系统（EMS）通过控制发动机与电动机之间的功率流来优化混合动力汽车（HEV）的能源分配，从而提升燃油经济性并减少排放[3]。车辆加速度是这两个控制领域之间的核心纽带：对于自适应巡航控制（ACC）系统而言，它是主要的控制动作；而对于HEV能量管理系统，加速度则决定了动力总成的功率需求。因此，整合ACC与HEV能量管理的统一框架，为制定更高效率、更协调的控制策略提供了可行路径。
虽然关于自适应巡航控制(ACC)[4][5][6][7]和混合动力汽车能量管理系统(HEV EMS)[3][8][9]的独立领域研究已趋成熟，但两者的集成控制近年来引起了广泛关注[10][11][12]。当前集成策略主要遵循两种范式：序贯优化与协同优化。序贯优化方法采用分层控制结构，即ACC控制器首先确定期望车辆加速度，再由底层EMS进行动力分配以满足该需求[13][14]。由于两个系统仅基于各自Objective进行优化，未显式考虑耦合效应，ACC生成的最优加速度曲线可能与HEV的最优动力分配方案不匹配，从而导致整体系统性能的次优性[15][16][17]。
为克服这一局限性，研究者提出了合作优化方法以实现ACC与HEV能量管理系统的协同优化。这类方法通常构建一个包含两个系统目标的统一优化问题，通过直接考虑车辆动力学与动力总成能耗之间的耦合关系，形成更具整体性的控制策略。Li等[18]率先提出了基于模型预测控制（MPC）的合作优化框架，相较于解耦的ACC-EMS策略实现了5%的燃油消耗降低。Chen等文献[19]利用庞特里亚金极小值原理在最优控制框架下求解该问题，相比两步法实现了1.3%的燃油经济性提升。为增强预测能力，Xie等[20]将神经网络与动态规划(DP)集成至模型预测控制(MPC)结构中，相较基于规则的方法实现了17.9%的总成本降幅。针对该问题的多目标特性，He等[21]开发了基于帕累托前沿的优化框架，较传统加权求和法节能效果提升7.57%。近年来，深度强化学习（RL）方法已被应用于这一合作优化问题。早期基于深度确定性策略梯度的框架[22]实现了超过动态规划最优解90%的燃油经济性。为增强鲁棒性，Fu等人[23]采用改进的柔性演员-评论家（SAC）算法[24]处理燃料电池混合动力电动汽车的优化问题，确保动态跟车场景中的稳定性。此外，Zhu等人[25]将SAC与迁移学习相结合以解决泛化问题，实现了异构动力总成间的策略迁移。除单智能体方法外，多智能体强化学习也被用于协调不同智能体，以实现自适应巡航控制（ACC）与能量管理系统（EMS）的同步优化[26][27][28]。
尽管取得了这些进展，但在基于学习的ACC与HEV能源管理系统协同优化中仍存在若干挑战。首先，许多现有方法未能明确考虑关键约束条件，例如保持安全跟车距离、遵守动力总成的机械限制以及维持允许的荷电状态（SOC）范围。这些约束对于确保车辆在实际场景中的安全可靠运行至关重要。例如，在文献[29]中，当距离误差超过阈值时会对加速度进行人工修正，这可能导致加速度突变并影响驾驶舒适性。其他研究[22][26][27]则将SOC范围约束作为惩罚项纳入，这种方法可能使优化问题复杂化，并阻碍可行解的搜索。
其次，尽管电池退化是影响混合动力汽车（HEV）长期性能与可持续性的关键问题[30]，但现有研究鲜少在合作优化框架中对电池老化过程进行建模。电池在充放电循环中的容量衰减现象被称为循环老化[31]。针对该现象的建模研究中，半经验方法获得了广泛关注。这些模型通过将理论原理与实验数据相结合来确定拟合参数，既比电化学模型更简单易实现，又能在更广泛工况下提供比纯经验模型更高的精度[30][32]。近期关于健康感知型能量管理系统（EMS）的研究[33][34]，以及涵盖信息物理系统[35]、家用储能[36]和车网互动系统[37]等更广泛储能领域的研究，进一步验证了多性向优化在延长系统寿命方面的有效性。将电池老化动力学引入混合动力汽车能量管理系统(HEV EMS)，揭示了燃油经济性与电池寿命之间显著的交易关系，从而实现了更全面的控制策略[38][39]。
然而，实施此类综合性策略面临显著的算法挑战。尽管约束强化学习和混合动作强化学习算法已在孤立的汽车应用场景中得到研究，但其在ACC-EMS协同优化中的整合应用仍属空白。现有用于高级驾驶辅助系统的安全强化学习方法通常优先考虑碰撞规避而忽略动力总成约束[40][41]。反观多目标EMS策略则往往聚焦效率与老化问题，却缺乏安全跟车所需的动态约束处理能力[42]。连接这两个领域需要一个统一框架，该框架需能在耦合控制回路中同步管理混合动作并执行安全约束。
本研究开发了一种同时考虑电池老化动态与安全性的自适应巡航控制（ACC）与混合动力汽车能量管理系统（HEV EMS）协同优化框架。该框架基于约束型混合动作强化学习（CHARL）算法构建，该算法被命名为拉格朗日方法参数化近端策略优化（PAPPOLag）。研究选择近端策略优化作为核心优化器，因其能够通过裁剪目标函数确保策略的单调改进特性[43]。这种稳定性对于电池老化管理尤为关键，剧烈的策略更新可能导致不稳定的性能衰退模式，或在燃油消耗与电池健康之间产生次优交易权衡。本工作的主要贡献如下：
- 1.
开发集成电池老化动态的ACC与HEV能量管理系统协同优化框架，实现跟车工况下燃油经济性与电池寿命权衡关系的综合评估。进一步通过老化权重敏感性分析验证模型鲁棒性。
- 2.
PAPPOLag算法的设计与验证：该方法采用拉格朗日乘子处理混合动作空间的约束强化学习算法，其有效性通过对比分析得到验证，性能与成熟基准（如MPC）相当，并超越多个RL基线模型。
- 3.
在关键且未经训练的切入场景中验证所提策略的安全性，证明其能在不违反约束条件下保持安全跟车距离的多性向能力。
