【深入浅出 Yarn 架构与实现】6-3 NodeManager 分布式缓存
不要跳过这部分知识，对了解 NodeManager 本地目录结构，和熟悉 Container 启动流程有帮助。
一、分布式缓存介绍
主要作用就是将用户应用程序执行时，所需的外部文件资源下载缓存到各个节点。
YARN 分布式缓存工作流程如下:
- 客户端将应用程序所需的文件资源 (外部字典、JAR 包、二进制文件) 提交到 HDFS 上。
- 客户端将应用程序提交到 RM 上。
- RM 将与某个 NM 进行通信，启动应用程序 AM，NM 收到命令后，首先从 HDFS 上下载文件 (缓存)，然后启动 AM。
- AM 与 RM 通信，以请求和获取计算资源。
- AM 收到新分配到的计算资源后，与对应的 NM 通信，以启动任务。
- 如果应用程序第一次在该节点上启动任务，NM 首先从 HDFS 上下载文件缓存到本地，然后启动任务。
- NM 后续收到启动任务请求后，如果文件已在本地缓存，则直接执行任务，否则等待文件缓存完成后再启动。
- 各个节点上的缓存文件由对应的 NM 管理和维护。在 Hadoop 中，分布式缓存并不是将文件缓存到集群中各个节点的内存中，而是将文件缓存到各个节点的磁盘上，以便执行任务时直接从磁盘上读取文件。
二、特性介绍
一）资源可见性和分类
分布式缓存机制是由各个 NM 实现的，主要功能是将应用程序所需的文件资源缓存到本地，以便后续任务的使用。
资源缓存是使用时触发的，也就是第一个用到该资源的任务触发。后续任务无需再进行缓存，直接使用即可。
根据可见性，NM将资源分为三类：
- Public：节点上所有的用户都可以共享该资源，只要有一个用户的应用程序将着这些资源缓存到本地，其他所有用户的所有应用程序都可以使用；
- Private：节点上同一用户的所有应用程序共享该资源，只要该用户其中一个应用程序将资源缓存到本地，该用户的所有应用程序都可以使用；
- Application：节点上同一应用程序的所有Container共享该资源。
YARN是通过比较 resource、type、timestamp 和 pattern四个字段是否相同来判断两个资源请求是否相同的。如果一个已经被缓存到各个节点上的文件被用户修改了，则下次使用时会自动触发一次缓存更新，以重新从HDFS上下载文件。
分布式缓存完成的主要功能是文件下载，涉及大量的磁盘读写，因此整个过程采用了异步并发模型加快文件下载速度，以避免同步模型带来的性能开销。
二）分布式缓存实现
NodeManager 采用轮询的分配策略将这三类资源存放在 yarn.nodemanager.local-dirs 指定的目录列表中，在每个目录中，资源按照以下方式存放：
- PUBLIC 资源：存放在
${yarn.nodemanager.local-dirs}/filecache/目录下，每个资源将单独存放在以一个随机整数命名的目录中，且目录的访问权限均为 0755。 - PRIVATE 资源：存放在
${yarn.nodemanager.local-dirs}/usercache/${user}/filecache/目录下，每个资源将单独存放在以一个随机整数命名的目录中，且目录的访问权限均为 0710。 - APPLICATION 资源：存放在
${yarn.nodemanager.local-dirs}/usercache/${user}/${appcache}/${appid}/filecache/目录下，每个资源将单独存放在以一个随机整数命名的目录中，且目录的访问权限均为 0710。
其中 Container 的工作目录位于 ${yarn.nodemanager.local-dirs}/usercache/${user}/${appcache}/${appid}/${containerid} 目录下，其主要保存 jar 包文件、字典文件对应的软链接。
目录结构如下所示：
./nm-local-dir/
|-- filecache // PUBLIC资源
| `-- 10 // 每个资源将单独存放在以一个随机整数命名的目录中
|-- nmPrivate
| |-- application_xxxx_xxx
| | |-- container_xxx_xxx_xxx_xx_xxxx
| | |-- container_xxx_xxx_xxx_xx_xxxx // 私有目录数据（执行脚本、token文件、pid文件）
| | | |-- container_xxx_xxx_xxx_xx_xxxx.pid
| | | |-- container_xxx_xxx_xxx_xx_xxxx.tokens
| | | `-- launch_container.sh
| |-- application_xxxx_xxx
| `-- application_xxxx_xxx
`-- usercache
|-- userXxx
| |-- appcache // APPLICATION资源
| `-- filecache // PRIVATE资源
|-- userXxx
| |-- appcache
| `-- filecache
三、清理策略
1、Container 运行结束清理
2、清理过期缓存
NodeManager 为了避免缓存的文件过多导致磁盘「撑爆」，其会定期清理过期的缓存文件，具体方法如下：
- 每隔一定时间
yarn.nodemanager.localizer.cache.cleanup.interval-ms（单位是毫秒，默认值是 10×60×1000，即 10 分钟）启动一次清理工作，确保每个缓存目录中文件容量小于yarn.nodemanager.localizer.cache.target-size-mb（单位是 MB，默认是 10240，即 10GB） - 如果超过该值，则采用 LRU（Least Recently Used）算法清除已不再使用的缓存文件，直至文件容量低于设定值。
四、小结
本篇介绍了 NodeManager 分布式缓存，当你需要看 NM 本地目录，需要了解各目录中存储内容时，本篇提供了对应的帮助。同时也对 Container 启动流程做了简要的讲解，对后面了解 Container 生命周期提供了一定的前置知识。