近年来,智能物流在海量数据和分布式处理的需求推动下,发展地越来越迅速,其中海量数据需要大数据技术作为支撑,分布式处理用到的Hadoop技术,能够很好地处理现代物流复杂的问题,因而文章结合Hadoop和大数据技术架构了现代的智能物流平台。 ?Hadoop的其他子项目的通用工具组成的分布式计算系统[3]。1.1.1HDFSHadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）中的数据具有“一次写、多次读”的特征，它以流式数据访问模式来存储超大文件，具有较高的吞吐量，部署在低价的硬件上，提供底层支持[3]。HDFS的体系结构如图1所示，整个文件系统信息节点—Namenode用于数据管理；数据节点（Datanode），用于存储文件块，进行数据读写操作，其中，文件被划分成多个64MB的大块作为独立储存单位。图1HDFS体系结构1.1.2MapReduceMapReduce是一种思想，它是把大而重的任务拆解，分成一系列小而轻的任务并行处理，就比如学校组织秋游活动，智能物流平台架构-数控折弯机电动液压滚圆机滚弧机全自动滚圆机滚弧机校长要向老师们收取秋游的活动费用，告诉各学院院长让他们执行此任务，院长告诉教研室主任让他们把费用收上来，最后再把收上来的费用交给院长 本文有公司网站全自动滚圆机采集转载中国知网整理 http://www.gunyuanji.com，这个过程中院长把任务分配给教研室主任的过程称为Map过程，教研室主任把钱收齐交给院长的过程就是Reduce过程。该框架包含了Client，JobTrack，TaskTrack和HDFS4部分。这种分块的思想适合物流数据错综复杂的特性，Map函数把数据映射成为宏观、中观、微观3个不同的区块，再通过Reduce函数将分块分析的数据汇聚，将结果输出，具体来看HDFS的4部分，Client负责配置任务，提交任务，就像例子中的校长；JobTrack负责初始化任务，分配任务，就像院长，并且与TaskTrack进行通信，协调整个任务的执行，它就像是教研室主任；TaskTrack在分配的数据片段上执行Map（映射）和基金项目：安阳工学院青年基金；项目名称：大数据下基于Hadoop的智能物流平台的架构；项目编号：QJJ第17期2018年9月No.17September，2018Reduce（化简）任务；HDFS负责保存作业的数据、配置信息以及计算结果[3]。其运行流程如图2所示。图2MapReduce数据流程1.2大数据处理平台大数据处理平台包括IaaS层、PaaS层和服务接口层，IaaS层服务由虚拟机结点构成；PaaS层由海量数据处理和数据处理工作流构成；服务接口层对外提供海量数据处理。图3大数据处理平台2大数据下基于Hadoop的智能物流平台的实现在大数据环境下，智能物流服务强调的是移动服务。要想提供流动服务，其中最重要的是操作框架，它从微观层面、中观层面和宏观层面提出了智能物流的操作框架。首先是微观层面，包括对货物的运输、货物的存储、货物的分配、货物的包装等相关数据进行分类。其次中观层面，即货物的供应链、货物的采购和生产产生的物流数据的分类。最后宏观层面，对于商品的分类，将不同的商品分类成不同类型的数据分析。根据这3个层面对数据的分类设计了基于Hadoop的智能物流信息平台的业务系统、功能系统和结构[4]。2.1功能模块的设计大数据下基于Hadoop的智能物流平台的设计模块分成3部分：推送单元，Hadoop大数据处理和分析智能物流平台架构-数控折弯机电动液压滚圆机滚弧机全自动滚圆机滚弧机 本文有公司网站全自动滚圆机采集转载中国知网整理 http://www.gunyuanji.com