分层强化学习理论与方法

出版时间：2007-12  出版社：哈尔滨工程大学  作者：沈晶 编  页数：141  

前言

强化学习通过试错与环境交互获得策略的改进，其自学习和在线学习的特点使其成为机器学习研究的一个重要分支。但是，强化学习一直被维数灾难所困扰。近年来，分层强化学习在克服维数灾难方面取得了显著进展，典型的成果有Option，HAM和MAXQ等方法，其中Option和MAXQ方法在目前使用较为广泛。Option方法便于自动划分子任务（尤其分区或分段子任务），且子任务粒度易于控制，但利用先验知识划分子任务时，任务划分结果表达不够明晰，且子任务内部策略难于确定；MAXQ方法在线学习能力强，但自动分层能力较弱，且分层粒度不够精细，难以对一些规模很大的子任务作出进一步的分解。本书在系统地介绍了强化学习、分层强化学习的理论基础和学习算法之后，探讨了一种集成Option和MAXQ的分层强化学习新方法-OMQ，并深入研究集成过程中所涉及的理论与计算问题，以及该方法在动态环境、多智能体环境中应用时需要进一步解决的问题。本书得到了总装备部预研基金及哈尔滨工程大学基础研究基金（HEUFl07022，HEUFr05021，HEUFT05068）的资助，在编写过程中，得到了哈尔滨工程大学计算机科学与技术学院顾国昌教授和张国印教授的悉心指导，以及刘海波博士的鼎力相助，张汝波教授审阅了本书初稿，提出了宝贵的意见，哈尔滨工程大学出版社的编辑老师付出了艰辛的劳动，在此一并表示感谢！

内容概要

强化学习通过试错与环境交互获得策略的改进，其自学习和在线学习的特点使其成为机器学习研究的一个重要分支。但是，强化学习一直被维数灾难所困扰，近年来，分层强化学习在克服维数灾难方面取得了显著进展。本书系统地介绍了强化学习、分层强化学习的理论基础和学习算法以及作者在分层强化学习领域的研究成果和该领域的最新研究进展。     本书可作为高等院校和科研机构从事计算机应用、人工智能和机器学习等相关专业和方向的教师、研究人员、研究生及高年级本科生参考使用。

作者简介

第1章  绪论
    分层强化学习是在强化学习的基础上通过增加“抽象机制”而形成的一种效率更高的机器学习方法。本章将对机器学习、强化学习、分层强化学习的定义以及研究现状进行介绍。
    1.1  机器学习
    1.1.1 机器学习的定义
    机器学习（Machine Learning）的

书籍目录

第1章 绪论　1.1 机器学习　　1.1.1 机器学习的定义　　1.1.2 机器学习的发展史　　1.1.3 机器学习系统的基本模型　　1.1.4 机器学习的主要策略  1.2 强化学习　　1.2.1 强化学习的定义　　1.2.2 强化学习的发展史　1.3 分层强化学习　　1.3.1 分层强化学习的定义　　1.3.2 研究现状与发展趋势第2章 强化学习　2.1 强化学习的基本原理　2.2 强化学习的基本方法　2.3 部分可观测马氏过程第3章 分层强化学习　3.1 半马氏过程  3.2 分层与抽象  3.3 典型分层强化学习方法　　3.3.1 Option分层强化学习方法　　3.3.2 HAM分层强化学习方法　　3.3.3 MAXQ分层强化学习方法　　3.3.4 典型分层强化学习方法的比较分析　3.4 OMQ分层强化学习方法　　3.4.1 测试用例描述　　3.4.2 OMQ理论框架　　3.4.3 OMQ学习算法　　3.4.4 OMQ学习算法最优性分析　　3.4.5 OMQ学习算法收敛性证明　　3.4.6 OMQ学习算法实验分析第4章 动态分层强化学习　4.1 学习任务的自动分层　　4.1.1 瓶颈和路标状态法　　4.1.2 共用子空间法　　4.1.3 多维状态法　　4.1.4 马氏空间法　　4.1.5 其他有关方法　　4.1.6 任务自动分层方法评价　4.2 基于免疫聚类的自动分层算法　　4.2.1 免疫原理剖析　　4.2.2 基于免疫聚类的Option自动生成算法　4.3 基于二次应答机制的动态分层算法　　4.3.1 算法描述　　4.3.2 实验分析　4.4 未知动态环境中的分层强化学习方法　　4.4.1 移动机器人路径规划问题　　4.4.2 未知动态环境中的OMQ分层强化学习算法　　4.4.3 实验分析　……第5章 多智能体分层强化学习参考文献

章节摘录

插图：分层强化学习是在强化学习的基础上通过增加“抽象机制”而形成的一种效率更高的机器学习方法。本章将对机器学习、强化学习、分层强化学习的定义以及研究现状进行介绍。 1.1 机器学习 1.1.1 机器学习的定义 机器学习（Machine Learning）的核心是学习。学习是人类具有的一种重要智能行为，但究竟什么是学习，长期以来却众说纷纭。这是因为进行这一研究的人们分别来自不同的学科，更重要的是学习是一种多侧面、综合性的心理活动，它与记忆、思维、知觉、感觉等多种心理行为都有着密切的联系，人们难以把握学习的机理与实现。社会学家、逻辑学家和心理学家都各有其不同的看法。按照人工智能大师Simon的观点，学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。这一阐述包含过程、系统与改进性能这样三个要点。学习的基本模型就是基于这一观点建立起来的。 机器学习至今还没有统一的定义，而且也很难得到一个公认的和准确的定义。顾名思义，机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍微严格的提法：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。

编辑推荐

《分层强化学习理论与方法》是由哈尔滨工程大学出版社出版社的。