MySQL技术内幕

出版时间：2013-5  出版社：机械工业出版社  作者：姜承尧  
Tag标签：无  

前言

【前言】 为什么要写这本书过去这些年我一直在和各种不同的数据库打交道，见证了MySQL从一个小型的关系型数据库发展为各大企业的核心数据库系统的过程，并且参与了一些大大小小的项目的开发工作，成功地帮助开发人员构建了可靠的、健壮的应用程序。在这个过程中积累了一些经验，正是这些不断累积的经验赋予了我灵感，于是有了这本书。这本书实际上反映了这些年来我做了哪些事情，其中汇集了很多同行每天可能都会遇到的一些问题，并给出了解决方案。MySQL数据库独有的插件式存储引擎架构使其和其他任何数据库都不同。不同的存储引擎有着完全不同的功能，而InnoDB存储引擎的存在使得MySQL跃入了企业级数据库领域。本书完整地讲解了InnoDB存储引擎中最重要的一些内容，即InnoDB的体系结构和工作原理，并结合InnoDB的源代码讲解了它的内部实现机制。本书不仅讲述了InnoDB存储引擎的诸多功能和特性，还阐述了如何正确地使用这些功能和特性，更重要的是，还尝试了教我们如何Think Different。Think Different是20世纪90年代苹果公司在其旷日持久的宣传活动中提出的一个口号，借此来重振公司的品牌，更重要的是，这个口号改变了人们对技术在日常生活中的作用的看法。需要注意的是，苹果的口号不是Think Differently，是Think Different，Different在这里做名词，意味该思考些什么。很多DBA和开发人员都相信某些“神话”，然而这些“神话”往往都是错误的。无论计算机技术发展的速度变得多快，数据库的使用变得多么简单，任何时候Why都比What重要。只有真正理解了内部实现原理、体系结构，才能更好地去使用。这正是人类正确思考问题的原则。因此，对于当前出现的技术，尽管学习其应用很重要，但更重要的是，应当正确地理解和使用这些技术。关于本书，我的头脑里有很多个目标，但最重要的是想告诉大家如下几个简单的观点：不要相信任何的“神话”，学会自己思考；不要墨守成规，大部分人都知道的事情可能是错误的；不要相信网上的传言，去测试，根据自己的实践做出决定；花时间充分地思考，敢于提出质疑。当前有关MySQL的书籍大部分都集中在教读者如何使用MySQL，例如SQL语句的使用、复制的搭建的、数据的切分等。没错，这对快速掌握和使用MySQL数据库非常有好处，但是真正的数据库工作者需要了解的不仅仅是应用，更多的是内部的具体实现。MySQL数据库独有的插件式存储引擎使得想要在一本书内完整地讲解各个存储引擎变得十分困难，有的书可能偏重对MyISAM的介绍，有的可能偏重对InnoDB存储引擎的介绍。对于初级的DBA来说，这可能会使他们的理解变得更困难。对于大多数MySQL DBA和开发人员来说，他们往往更希望了解作为MySQL企业级数据库应用的第一存储引擎的InnoDB，我想在本书中，他们完全可以找到他们希望了解的内容。再强调一遍，任何时候Why都比What重要，本书从源代码的角度对InnoDB的存储引擎的整个体系架构的各个组成部分进行了系统的分析和讲解，剖析了InnoDB存储引擎的核心实现和工作机制，相信这在其他书中是很难找到的。第1版与第2版的区别本书是第2版，在写作中吸收了读者对上一版内容的许多意见和建议，同时对于最新MySQL 5.6中许多关于InnoDB存储引擎的部分进行了详细的解析与介绍。希望通过这些改进，给读者一个从应用到设计再到实现的完整理解，弥补上一版中深度有余，内容层次不够丰富、分析手法单一等诸多不足。较第1版而言，第2版的改动非常大，基本上重写了50%的内容。其主要体现在以下几个方面，希望读者能够在阅读中体会到。本书增加了对最新MySQL 5.6中的InnoDB存储引擎特性的介绍。MySQL 5.6版本是有史以来最大的一次更新，InnoDB存储引擎更是添加了许多功能，如多线程清理线程、全文索引、在线索引添加、独立回滚段、非递归死锁检测、新的刷新算法、新的元数据表等。读者通过本书可以知道如何使用这些特性、新特性存在的局限性，并明白新功能与老版本InnoDB存储引擎之间实现的区别，从而在实际应用中充分利用这些特性。根据读者的要求对于InnoDB存储引擎的redo日志和undo日志进行了详细的分析。读者应该能更好地理解InnoDB存储引擎事务的实现。在undo日志分析中，通过InnoSQL自带的元数据表，用户终于可对undo日志进行统计和分析，极大提高了DBA对于InnoDB存储引擎内部的认知。对第6章进行大幅度的重写，读者可以更好地理解InnoDB存储引擎特有的next-key locking算法，并且通过分析锁的实现来了解死锁可能产生的情况，以及InnoDB存储引擎内部是如何来避免死锁问题的产生的。根据读者的反馈，对InnoDB存储引擎的insert buffer模块实现进行了更为详细的介绍，读者可以了解其使用方法以及其内部的实现原理。此外还增加了对insert buffer的升级版本功能——change buffer的介绍。读者对象本书不是一本面向应用的数据库类书籍，也不是一本参考手册，更不会教你如何在MySQL中使用SQL语句。本书面向那些使用MySQL InnoDB存储引擎作为数据库后端开发应用程序的开发者和有一定经验的MySQL DBA。书中的大部分例子都是用SQL语句来展示关键特性的，如果想通过本书来了解如何启动MySQL、如何配置Replication环境，可能并不能如愿。不过，在本书中，你将知道InnoDB存储引擎是如何工作的，它的关键特性的功能和作用是什么，以及如何正确配置和使用这些特性。如果你想更好地使用InnoDB存储引擎，如果你想让你的数据库应用获得更好的性能，就请阅读本书。从某种程度上讲，技术经理或总监也要非常了解数据库，要知道数据库对于企业的重要性。如果技术经理或总监想安排员工参加MySQL数据库技术方面的培训，完全可以利用本书来“充电”，相信你一定不会失望的。要想更好地学习本书的内容，要求具备以下条件：掌握SQL。掌握基本的MySQL操作。接触过一些高级语言，如C、C++、Python或Java。对一些基本算法有所了解，因为本书会分析InnoDB存储引擎的部分源代码，如果你能看懂这些算法，这会对你的理解非常有帮助。如何阅读本书本书一共有10章，每一章都像一本“迷你书”，可以单独成册，也就说你完全可以从书中任何一章开始阅读。例如，要了解第10章中的InnoDB源代码编译和调试的知识，就不必先去阅读第3章有关文件的知识。当然，如果你不太确定自己是否已经对本书所涉及的内容完全掌握了，建议你系统性地阅读本书。本书不是一本入门书籍，不会一步步引导你去如何操作。倘若你尚不了解InnoDB存储引擎，本书对你来说可能就显得沉重一些，建议你先查阅官方的API文档，大致掌握InnoDB的基础知识，然后再来学习本书，相信你会领略到不同的风景。为了便于大家阅读，本书在提供源代码下载（下载地址：www.hzbook.com）的同时也将源代码附在了书中，因此占去了一些篇幅，还请大家理解。勘误和支持由于作者对InnoDB存储引擎的认知水平有限，再加上写作时可能存在疏漏，书中还存在许多需要改进的地方。在此，欢迎读者朋友们指出书中存在的问题，并提出指导性意见，不甚感谢。如果大家有任何与本书相关的内容需要与我探讨，请发邮件到[e-mail]，或者通过新浪微博@insidemysql与我联系，我会及时给予回复。最后，衷心地希望本书能给大家带来帮助，并祝大家阅读愉快！致谢在编写本书的过程中，我得到了很多朋友的热心帮助。首先要感谢Pecona公司的CEO Peter Zaitsev和CTO Vadim Tkachenko，通过和他们的不断交流，使我对InnoDB存储引擎有了更进一步的了解，同时知道了怎样才能正确地将InnoDB存储引擎的补丁应用到生产环境。其次，要感谢网易公司的各位同事们，能在才华横溢、充满创意的团队中工作我感到非常荣幸和兴奋。也因为在这个开放的工作环境中，我可以不断进行研究和创新。此外，我还要感谢我的母亲，写本书不是一件容易的事，特别是这本书还想传达一些思想，在这个过程中我遇到了很多的困难，感谢她在这个过程中给予我的支持和鼓励。最后，一份特别的感谢要送给本书的策划编辑杨福川和姜影，他们使得本书变得生动和更具有灵魂。此外还要感谢出版社的其他默默工作的同事们。姜承尧

内容概要

《MySQL技术内幕:InnoDB存储引擎(第2版)》由国内资深MySQL专家亲自执笔，国内外多位数据库专家联袂推荐。作为国内唯一一本关于InnoDB的专著，《MySQL技术内幕:InnoDB存储引擎(第2版)》的第1版广受好评，第2版不仅针对最新的MySQL 5.6对相关内容进行了全面的补充，还根据广大读者的反馈意见对第1版中存在的不足进行了完善，《MySQL技术内幕:InnoDB存储引擎(第2版)》大约重写了50％的内容。《MySQL技术内幕:InnoDB存储引擎(第2版)》从源代码的角度深度解析了InnoDB的体系结构、实现原理、工作机制，并给出了大量最佳实践，能帮助你系统而深入地掌握InnoDB，更重要的是，它能为你设计管理高性能、高可用的数据库系统提供绝佳的指导。
《MySQL技术内幕:InnoDB存储引擎(第2版)》一共10章，首先宏观地介绍了MySQL的体系结构和各种常见的存储引擎以及它们之间的比较；接着以InnoDB的内部实现为切入点，逐一详细讲解了InnoDB存储引擎内部的各个功能模块的实现原理，包括InnoDB存储引擎的体系结构、内存中的数据结构、基于InnoDB存储引擎的表和页的物理存储、索引与算法、文件、锁、事务、备份与恢复，以及InnoDB的性能调优等重要的知识；最后对InnoDB存储引擎源代码的编译和调试做了介绍，对大家阅读和理解InnoDB的源代码有重要的指导意义。
《MySQL技术内幕:InnoDB存储引擎(第2版)》适合所有希望构建和管理高性能、高可用性的MySQL数据库系统的开发者和DBA阅读。

作者简介

姜承尧（David Jiang），资深MySQL数据库专家，擅长于数据库的故障诊断、性能调优、容灾处理、高可用和高扩展研究，同时一直致力于MySQL数据库底层实现原理的研究和探索。此外，对高性能数据库和数据仓库也有深刻而独到的理解。曾为MySQL编写了许多开源工具和性能扩展补丁，如广受好评的InnoDB引擎二级缓存项目。现任网易杭州研究院技术经理一职，负责MySQL数据库的内核开发，参与设计与开发MySQL数据库在网易云环境中的应用。曾担任久游网数据库工程部经理，曾领导并参与了多个大型核心数据库的设计、实施、管理和维护，实战经验非常丰富。活跃于开源数据库以及开源软件领域，是著名开源社区ChinaUnix MySQL版块的版主，热衷于与网友分享自己的心得和体会，深受社区欢迎。除本书外，他还撰写了《MySQL技术内幕：SQL编程》，是本书的姊妹篇，颇受好评。

书籍目录

推荐序前言第1章 MySQL体系结构和存储引擎11.1 定义数据库和实例11.2 MySQL体系结构31.3 MySQL存储引擎51.3.1 InnoDB存储引擎61.3.2 MyISAM存储引擎71.3.3 NDB存储引擎71.3.4 Memory存储引擎81.3.5 Archive存储引擎91.3.6 Federated存储引擎91.3.7 Maria存储引擎91.3.8 其他存储引擎91.4 各存储引擎之间的比较101.5 连接MySQL131.5.1 TCP/IP131.5.2 命名管道和共享内存151.5.3 UNIX域套接字151.6 小结15第2章 InnoDB存储引擎172.1 InnoDB存储引擎概述172.2 InnoDB存储引擎的版本182.3 InnoDB体系架构192.3.1 后台线程192.3.2 内存222.4 Checkpoint技术322.5 Master Thread工作方式362.5.1 InnoDB 1.0.x版本之前的Master Thread362.5.2 InnoDB1.2.x版本之前的Master Thread412.5.3 InnoDB1.2.x版本的Master Thread452.6 InnoDB关键特性452.6.1 插入缓冲462.6.2 两次写532.6.3 自适应哈希索引552.6.4 异步IO572.6.5 刷新邻接页582.7 启动、关闭与恢复582.8 小结61第3章 文件623.1 参数文件623.1.1 什么是参数633.1.2 参数类型643.2 日志文件653.2.1 错误日志663.2.2 慢查询日志673.2.3 查询日志723.2.4 二进制日志733.3 套接字文件833.4 pid文件833.5 表结构定义文件843.6 InnoDB存储引擎文件843.6.1 表空间文件853.6.2 重做日志文件863.7 小结90第4章 表914.1 索引组织表914.2 InnoDB逻辑存储结构934.2.1 表空间934.2.2 段954.2.3 区954.2.4 页1014.2.5 行1014.3 InnoDB行记录格式1024.3.1 Compact行记录格式1034.3.2 Redundant行记录格式1064.3.3 行溢出数据1104.3.4 Compressed和Dynamic行记录格式1174.3.5 CHAR的行结构存储1174.4 InnoDB数据页结构1204.4.1 File Header1214.4.2 Page Header1224.4.3 Infimum和Supremum Records1234.4.4 User Records和Free Space1234.4.5 Page Directory1244.4.6 File Trailer1244.4.7 InnoDB数据页结构示例分析1254.5 Named File Formats机制1324.6 约束1344.6.1 数据完整性1344.6.2 约束的创建和查找1354.6.3 约束和索引的区别1374.6.4 对错误数据的约束1374.6.5 ENUM和SET约束1394.6.6 触发器与约束1394.6.7 外键约束1424.7 视图1444.7.1 视图的作用1444.7.2 物化视图1474.8 分区表1524.8.1 分区概述1524.8.2 分区类型1554.8.3 子分区1684.8.4 分区中的NULL值1724.8.5 分区和性能1764.8.6 在表和分区间交换数据1804.9 小结182第5章 索引与算法1835.1 InnoDB存储引擎索引概述1835.2 数据结构与算法1845.2.1 二分查找法1845.2.2 二叉查找树和平衡二叉树1855.3 B+树1875.3.1 B+树的插入操作1875.3.2 B+树的删除操作1905.4 B+树索引1915.4.1 聚集索引1925.4.2 辅助索引1965.4.3 B+树索引的分裂2005.4.4 B+树索引的管理2025.5 Cardinality值2105.5.1 什么是Cardinality2105.5.2 InnoDB存储引擎的Cardinality统计2125.6 B+树索引的使用2155.6.1 不同应用中B+树索引的使用2155.6.2 联合索引2155.6.3 覆盖索引2185.6.4 优化器选择不使用索引的情况2195.6.5 索引提示2215.6.6 Multi-Range Read优化2235.6.7 Index Condition Pushdown（ICP）优化2265.7 哈希算法2275.7.1 哈希表2285.7.2 InnoDB存储引擎中的哈希算法2295.7.3 自适应哈希索引2305.8 全文检索2315.8.1 概述2315.8.2 倒排索引2325.8.3 InnoDB全文检索2335.8.4 全文检索2405.9 小结248第6章 锁2496.1 什么是锁2496.2 lock与latch2506.3 InnoDB存储引擎中的锁2526.3.1 锁的类型2526.3.2 一致性非锁定读2586.3.3 一致性锁定读2616.3.4 自增长与锁2626.3.5 外键和锁2646.4 锁的算法2656.4.1 行锁的3种算法2656.4.2 解决Phantom Problem2696.5 锁问题2716.5.1 脏读2716.5.2 不可重复读2736.5.3 丢失更新2746.6 阻塞2766.7 死锁2786.7.1 死锁的概念2786.7.2 死锁概率2806.7.3 死锁的示例2816.8 锁升级2836.9 小结284第7章 事务2857.1 认识事务2857.1.1 概述2857.1.2 分类2877.2 事务的实现2947.2.1 redo2947.2.2 undo3057.2.3 purge3177.2.4 group commit3197.3 事务控制语句3237.4 隐式提交的SQL语句3287.5 对于事务操作的统计3297.6 事务的隔离级别3307.7 分布式事务3357.7.1 MySQL数据库分布式事务3357.7.2 内部XA事务3407.8 不好的事务习惯3417.8.1 在循环中提交3417.8.2 使用自动提交3437.8.3 使用自动回滚3447.9 长事务3477.10 小结349第8章 备份与恢复3508.1 备份与恢复概述3508.2 冷备3528.3 逻辑备份3538.3.1 mysqldump3538.3.2 SELECT...INTO OUTFILE3608.3.3 逻辑备份的恢复3628.3.4 LOAD DATA INFILE3628.3.5 mysqlimport3648.4 二进制日志备份与恢复3668.5 热备3678.5.1 ibbackup3678.5.2 XtraBackup3688.5.3 XtraBackup实现增量备份3708.6 快照备份3728.7 复制3768.7.1 复制的工作原理3768.7.2 快照+复制的备份架构3808.8 小结382第9章 性能调优3839.1 选择合适的CPU3839.2 内存的重要性3849.3 硬盘对数据库性能的影响3879.3.1 传统机械硬盘3879.3.2 固态硬盘3879.4 合理地设置RAID3899.4.1 RAID类型3899.4.2 RAID Write Back功能3929.4.3 RAID配置工具3949.5 操作系统的选择3979.6 不同的文件系统对数据库性能的影响3989.7 选择合适的基准测试工具3999.7.1 sysbench3999.7.2 mysql-tpcc4059.8 小结410第10章 InnoDB存储引擎源代码的编译和调试41110.1 获取InnoDB存储引擎源代码41110.2 InnoDB源代码结构41310.3 MySQL 5.1版本编译和调试InnoDB源代码41510.3.1 Windows下的调试41510.3.2 Linux下的调试41810.4 cmake方式编译和调试InnoDB存储引擎42310.5 小结424

编辑推荐

《MySQL技术内幕:InnoDB存储引擎(第2版)》编辑推荐：畅销书全新升级，第1版广获好评，资深专家撰写，国内外数据库专家联袂推荐，基于MySQL 5.6，从存储引擎内核角度对InnoDB的核心实现和工作机制进行深入剖析。

名人推荐

作者是一位非常有经验的DBA，他将自己多年在MySQL存储引擎上积累的经验融汇成了这本书，并形成了自己的研究成果，实在是让人敬佩。本书内容深入且全面，像这样有内容的书已经越来越少，像这样有研究精神的人也越来越少。我不仅要向InnoDB的初学者推荐这本书，而且还要向富有经验的DBA推荐这本书，或许他们已经掌握了一些InnoDB的应用和调优知识，但这本书能帮助他们在这个方向上再前进“一小步”。——顾懿 久游网CEOSQL Server企业版的一颗CPU License要人民币20多万，Oracle的License更是按照CPU内核数计算，这样的价格不是一般的成长型企业能承受得起的，对于有海量数据存储需求的大企业，License费用就更夸张了。可见，MySQL在数据库市场上的重要性是毋容置疑的。然而，MySQL在教育上的投入远没有Microsoft和Oracle那样多，可以参考的书不多，其中大多数书又和帮助文档没有太多区别。毕竟，在这个心浮气躁的年代，愿意抛开杂念一心热衷于钻研IT技术的人越来越少了，坚持下来的，愿意花时间写书来分享自己经验的，就更少了。David就是这少数人当中的一个，认识他有十多年了，他给我的印象就是快乐的IT人，每次有新的发现或研究成果，都会很兴奋地跟我分享。这次，他把多年的InnoDB经验拿出来跟大家分享，完全是原创，希望MySQL的同行多多支持！——Tom Sawyer 玫琳凯（中国）化妆品有限公司数据库架构师

用户评论 (总计5条)

•   很好的书。对了解存储相关的技术很有帮助。
•   书籍不错 卖家服务态度也很好。～～下次还会再来
•   之前到处找第一版的，已经很难买到了，第二版一上市，马上就下单了。感觉这本书是对mysql讲的比较深入，看完之后收获很多。
•   N人写的数，不过分评价
•   第一版的我有电子版，但是第二版还是很值得买的，内功才是最彰显实力的