ACD在回转窑控制系统设计中的应用

自适应评价方法(Adaptive Critic Designs，ACD)的中心思想就是使用神经网络等函数逼近方法来近似cost-to-go函数J，以避免动态规划在计算最优代价函数时所遇到的“维数灾”问题。ACD方法可利用神经网络求解最优性能泛函，避免了动态规划方法的缺点。

ACD方法基本构成包含评价(Critic)、模型(Model)和控制(Action)三个网络。其中评价网络是对cost-to-go(J)函数进行近似，对系统控制进行评价，该方法常用于回转窑的设计计算当中。其作用主要体现为以输出来影响控制网络和评价网络的权值，控制网络则产生控制动作，是传统意义上的控制器；模型网络模拟被控对象的动态特性，输入系统状态量以及对应的控制量，输出系统的下一时刻输出的状态量估计值，模型网络可以在线或离线训练。评价网络则是将动作网络的学习能力分离出来单独组成的结构。评价网络和动作网络的分离，就有可能采取更多的方法来调整和加强控制器的学习。自适应评价控制系统是通过评价网络和控制网络联合训练使二者的权值能够进行适应性调整，以便控制系统做出合适的控制决策。

ACD方法的训练按照动态规划中的策略迭代过程进行：评价网络对控制网络的性能进行评估，相当于策略评价过程；控制网络则产生控制动作，并根据评价网络的评价改进其策略，相当于策略改进过程。

相关文章：
回转窑内结圈的危害及产生原因回转窑的表面温度与壁厚红外监测系统开发对回转窑运行状态进行巡检的重要性利用回转窑煅烧石油焦的利与弊回转窑测温技术的提高回转窑系统有哪些辅助设备？