基于Hadoop的超市数据分析系统的设计.pdf

第３ ４卷 第 ４期 ２ ０１ ５年 ｌ ２月 武 汉 轻 工 Ｊｏ ｕｒ ｎａｌ ｏｆ Ｗ ｕｈａｎ 大 学 学 报 Ｖｏ １． ３４Ｎｏ． ４ Ｐｏｌ ｙ ｒ ｔ ｅｃ ｈｎｉ ｃ Ｕｎｉ ｖｅ ｒ ｓｉ ｔ ｙ Ｄｅｃ．２Ｏ１ ５ 文章 编号 ： ２ ０９５． ７３８６（２０１ ５） ０４－ ００３５－ ０４ ＤＯＩ ： １ ０． ３ ９６ ９ ／ ｊ ． ｉ ｓ ｓ ｎ．２ ０ ９ ５－ ７ ３ ８ ６． ２ ０１ ５． ０ ４． ０１ ０ 基 于 Ｈａｄｏｏｐ的 超 市 数 据 分 析 系统 的 设 计 李 博， 范丽 丽 （ 武汉 轻工大学 数学与计算机学院 ， 湖北 武汉 ４３ ０ ０２ ３） 摘 要 ：大数 据 的利 器— — Ｈａｄ０ｏ ｐ， 使得 对 海量数 据 处理 和分 析 变得 更加 便 宜和快 速 ， 吸引 了 众 多急 需优 化 行 业模 式 的企 业 。 构建 一 个数 据 分 析 系统 ，该 系统 立 足 于超 市数 据 的 海量 、复 杂、 有利 用价值的特点， 利用分布式的架构——Ｈａ ｄ ｏ ｏ ｐ数据分析 处理平 台对超市 小票数据及 从微 信 平 台采 集的会 员信 息进 行 处理 和分析 ， 使 用优 化 的关联 规 则算 法 ， 快 速 准确的 分析 出超 市商品销 售 的 关联性 及对 顾客 消费行 为进行 预 测 ， 从 而提 高超 市 商品 的 销 售额 以及 超 市 的利 润。 关键 词 ：大数 据 ； Ｈａｄｏ ｏｐ； 关联 规 则算 法 ； 数 据挖 掘 中图分 类号 ：ＴＰ３１１．１ ３ 文献 标识 码 ：Ａ Ｄｅｓｉ ｇｎ ｏｆｄａｔ ａ ａｎａｌ ｙｓｉ ｓ ｓｙｓｔ ｅｍ ｏｆｔ ｈｅ ｓｕｐｅｒ ｍａｒ ｋｅｔｂａｓｅｄ ｏｎ Ｈａｄｏｏｐ ｕ Ｂｏ． ＦＡＮ Ｌｉ —ｌ ｉ （Ｓｃｈｏ ｏｌｏ ｆＭａ ｔ ｈｅ ｍａ ｔ ｉ ｃｓａｎｄＣｏｍｐｕｔ ｅｒＳｃｉ ｅ ｎｃｅ，ＷｕｈａｎＰｏｌ ｙ ｔ ｅｃ ｈｎｉ ｃＵｎｉ ｖｅ ｒ ｓ ｉ ｔ ｙ，Ｗｕｈａ ｎ４３０ ０２３， Ｃｈｉ ｎａ） Ａｂｓｔｒ ａｃｔ：Ｂｉ ｇ ｄａｔ ａ ｗｅａｐｏｎ — Ｈａｄｏｏｐ，ｍａｋｅｓ ｔ ｈｅ ｍａｓｓ ｄａｔ ａ ｐｒｏｃｅｓｓｉ ｎｇ ａｎｄ ａｎａｌ ｙｓ ｉ ｓ ｂｅｃｏｍｅ ｃｈｅａｐｅｒ ａｎｄ ｆａｓｔ ｅｒ， ａｔ ｔ ｒ ａｃｔ ｉ ｎｇ ｍａｎｙ ｅｎｔ ｅｒｐｒ ｉｓｅｓ ｉ ｎ ｕｒｇｅｎｔｎｅｅｄ ｔ ｏ ｏｐｔ ｉ ｍｉ ｚｅ ｔ ｈｅ ｉ ｎｄｕｓｔ ｒ ｙ ｍｏｄｅ１．Ｔｈｉ ｓ ｐａｐｅｒ ｐｒ ｅｓｅｎｔ ｓ ａ ｄａｔ ａ ａｎａｌ ｙｓｉ ｓ ｓｙｓ— ｔ ｅｍ ，ｔ ｈｅ ｓｙｓｔ ｅｍ ｂａｓｅｄ ｏｎ ｔ ｈｅ ｍａｇｎａｎｉ ｍｉ ｔ ｙ ｏｆｔ ｈｅ ｓ ｍａｌ ｌｓｕｐｅｒ ｍａｒｋｅｔｔ ｉ ｃｋｅｔｄａｔ ａ，ｃｏｍｐｌ ｅｘｉ ｔ ｙ，ｔ ｈｅ ｕｓｅ ｖａｌ ｕｅ，ｕｓｅｓ ｄｉ ｓ ｔ ｒ ｉｂｕｔ ｅｄ ａｒ ｃｈｉ ｔ ｅｃｔ ｕｒ ｅ，Ｈａｄｏｏｐ ｄａｔ ａ ａｎａｌ ｙｓｉ ｓ ｐｌ ａｔ ｆ ｏｒｍ ｔ ｏ ｐｒ ｏｃｅｓｓ ａｎｄ ａｎａ ｌｙｚｅ ｔ ｈｅ ｓ ｍａｌ ｌ ｓｕｐｅｒ ｍ ａ ｒ ｋｅｔｔ ｉ ｃｋｅｔ ｄａｔ ａ ｐｒｏｃｅｓｓｉ ｎｇ，ｕｓ ｉ ｎｇ ｔ ｈｅ ｏｐｔ ｉ ｍｉ ｚｅｄ ａｓｓｏｃｉ ａｔｉ ｏｎ ｒ ｕｌ ｅｓ ａｌ ｇｏｒｉ ｔ ｈｍ ｔ ｏ ａｎａｌ ｙｓｅ ｔ ｈｅ ｒ ｅｌ ｅｖａｎｃｅ ｏｆ ｔ ｈｅ ｓｕｐｅｒｍａｒ ｋｅｔ ｓａ ｌｅｓ ｏｆ ｇｏｏｄｓ ａｎｄ ｐｒ ｅｄｉ ｃｔｉ ｏｎ ｏｆｃｏｎｓｕｍｅｒｂｅｈａｖｉ ｏｒ，Ｓ Ｏ ａｓｔ ｏｉ ｍｐｒ ｏｖｅ ｔ ｈｅ ｓｕｐｅｒ ｍ ａｒｋｅｔｍｅｒｃｈａｎｄｉ ｓ ｅ ｓａ ｌ ｅｓａｎｄ ｐｒ ｏｆ ｉｔ ｓｏｆａ ｓｕ— ｐｅｒｍａｒｋｅｔ ． Ｋｅｙ ｗｏｒ ｄｓ：ｂｉ ｇｄａｔ ａ；Ｈａｄｏｏｐ；ａｓ ｓｏｃｉ ａｔ ｉ ｏｎ ｒ ｕｌ ｅａｌ ｇｏｒ ｉｔ ｈｍ ；ｄａｔ ａ ｍｉ ｎｉ ｎｇ ｄｏ ｏｐ进 行 了大 量 的 研 究 和 探 讨 ，均 得 到 一 定 的 突 １ 引言 Ｈａｄｏ ｏｐ 作为 大数 据 中最 耀 眼 的技 术 之 一 ， 破 。重量级 的应 用有 常见 的气 象 数 据 的处 理 ，热 门的微 博信 息挖 掘 ， 高 回报 的 电子 商 务 的商 品 推 以其 建立 于 Ｍａ ｐＲｅｄｕｃｅ基 础之 上 ，能够 快 速 ，高效 ， 荐 等 。轻量 级 的应用 ， 如 文献 提 出的基 于 Ｈａ ｄｏ ｏｐ 经 济 地处 理和 分 析 数 据 ，因而 获 得 了很 多 关 注 。 国 实 现 的实验 数 据 管理 及 文 献 提 出 的 基 于 Ｈａ ｄｏｏｐ 内外很 多 企业 基 于 对 大 数 据 的 追 捧 及 肯 定 ， 对 Ｈａ ． 的电 费数据 处理 等等 。 超市作为一个传统零售业 ， 由以前 的分散经营 收稿 日期 ： ２０１ ５Ｊ Ｄ ９— １ ８． 作者简介 ： 李博 （１ ９９１－ ）， 男， 硕士研究生 ， Ｅ— ｍａｉ ｌ ： ３０ ４２３７６０７＠ｑｑ．ｃ ｏｉ ｎ． 通信作者 ： 范丽丽 （１ ９８１一 ）， 女， 副教授 ， Ｅ— ｍａｉ ｌ ： ｆ ｌ １ ８１ ０＠ｌ ｉ ｖｅ．ｃ ｎ． 武 汉 轻 工 喜好 商铺 、 购 物时 间等信 息 ， 实现更 人性 化 的购物 导 大 学 学 报 ２０１ ５年 『５］ 吴雷．移动 互 联 网领 域 的 商 业模 式 创 新 趋 势 ［Ｊ］．中国传 媒科 技 ，２０１ ５，（１）：６３－ ６６． 航。 参 考 文献 ： 『１］ 新浪科 技 ．谷歌 开始在 美 国加 州测试 Ｗｉ Ｆｉ气 球 ［ＥＢ／ＯＬ］．（２０１５－ ０５— ２０）ｈｔ ｔ ｐ： ／／ｔ ｅ ｃｈ．ｓ ｉ ｎａ． ｃｏｍ ．ｃｎ／ｉ ／２０１３－ ０ ８—１０／１３４４８６２５４０１．ｓｈｔ ｍ１ ． ［２］ 网 易新 闻．Ｆａ ｃｅ ｂｏ ｏ ｋ造 大型 太 阳能 无人 机 建 ［６］ 张 桂 玲 ．提 升 ｗｉ ． Ｆｉ商 业 价 值 的 四 条 路 径 ［Ｊ］．通信 世界 ，２０１ ４，（１ ７）：３６． ［７］ 陈永光 ，李修 和．基 于 型 号 强度 的 室 内定 位 技 术 ［Ｊ］． 电子 学 报 ，２００４，３２（９）：１ ４５６－ １４５８． 全球 Ｗｉ Ｆｉ网 ［ＥＢ／ＯＬ］．２０１５－ ０５－ ２０．ｈｔ ｔ ｐ： ／／ ［８］ 董梅 ，杨 曾 ，张健 ，等 ．基 于信 号 强度 的 无 线 ｎｅｗｓ．１６３．ｃｏｍ／ａｉ ｒ ／１５／０３２８／１０／ＡＬｐｎ０ｓ６ｋ０００ 局域 网定 位技 术 ［Ｊ］．计 算机 应 用 ，２００４，２４ ｌ４Ｐ４２．ｈｔ ｍ１ ． （１２）：４９－ ５２． ［３］ 张运 超 ，陈 靖 ，王 涌 天．基 于 移 动 增 强 现 实 ［９］ 孙佩 刚 ，赵海 ，罗玎玎 ， 等．智 能 空 间中 ＲＳＳｌ 的智 慧城 市 导 览 ［Ｊ］．计 算 机 研 究 与 发 展 ， 定位 问题研 究 ［Ｊ］．电子 学报 ，２００７，３ ５（７）， ２０１ ４，５１（ ２）：３０２． ３１０． １２４０．１２４５． ［４］ 王瑞峰 ．基 于 ＷＬＡＮ 构 建无 线城 市 的规 划设 ［１ Ｏ］ 朱剑 ，赵 海 ，孙 佩 刚 ，等．基 于 ＲＳＳＩ均值 的 ｒＬ ２ ｒＬ ３ ｒＬ ４ 计 分析 ［Ｊ］．电 信 科 学 ，２０１１，２７（６）：１ ２１— 等边 三 角 定 位 算 法 ［Ｊ］． 东 北 大 学 学 报 ， １２６ ２００７，２８（ ８）：１ ０９４ １ ０９７． ］ ］ ］ （上接 第 ３８页） 据 或者 百 万 级 别 的数 据 记 录 耗 时 比较 长 。相 比之 Ｖｉ ｋｔ ｏｒＭａｙｅｒ— Ｓｃｈ￣ｎｂｅｒ ｇｅｒ，Ｂｉ ｇ Ｄａｔ ａ：Ａ Ｒｅｖｏｌ ｕ— 下， Ｈａ ｄｏｏ ｐ数 据 分 析 处 理 平 台 处 理 这 种 关 系 型 数 ｔ ｉ ｏｎ ＴｈａｔＷ ｉ ｌ ｌＴｒａｎｓ ｆ ｏｒ ｍ Ｈｏｗ Ｗ ｅ Ｌｉ ｖｅ，Ｗ ｏｒ ｋ， 据， 耗 时短 ， 速 度快 ， 可 以提 高 掌握 实 时销 售 情 况 的 ａｎｄ Ｔｈｉ ｎｋ［Ｍ］．Ｏｘｆ ｏ ｒ ｄ，ＵＫ：Ｅａｍｏｎ Ｄｏｌ ａ ｎ， 能力 ， 让 超市更 机 动灵 活 的制定销 售策 略 ， 提 高 销售 ２０１２，１２． 额 。 同时 ， 系统可 以根 据 当前 任务 ，调 节 Ｈａ ｄｏｏ ｐ的 薛胜 军 ， 基 于 Ｈａ ｄｏｏｐ的 气 象信 息数 据 仓库 建 配置， 如 文件 复制 数 ，ｂｌ ｏｃｋｓ ｉ ｚ ｅ等 ，也 能 够 提 高 系统 立与 测试 ， 计算机测量与控制 ， ２０１ ２， ２０（４）： 的数据 处理 速度 。 ９２５－ ９２８． ６ 结语 结合 超市 现有 的软 硬件 资 源 ， 构 建基 于 Ｈａ ｄｏ ｏｐ 李文 海 ， 基 于 ｈａｄｏ ｏｐ的 电子 商 务 推 荐 系统 的 设 计 与 实 现 ，计 算 机 工 程 与 设 计 ，２０１ ４，１ ７ （ ４）： ７１． ７５． 的数 据分 析 系 统 ， 通 过 数 据 挖 掘 技 术 ，利 用 Ｈａｄｏ ｏｐ 管莹 ， 基 于 ｈａ ｄｏｏｐ的 实验 数 据 管理 系统 的 实 集群 的强 大 的数据 处 理 能 力 ， 实 现 对 超市 海 量 数 据 现 ，电脑 编 程 技 巧 与 维 护 ， ２０１ ４，ｌ１（４）： ４２— 的处 理分 析 ， 发现 出商 品 一商 品 ， 商 品 一顾 客之 间 的 ４５． 联系 ， 从而 提高 了超 市 的销量 和利润。大数 据利 郭 朝 鹏 ，Ｈａ ｏＬａｐ：基 于 Ｈａ ｄｏｏｐ的 海 量 数 据 器－ － Ｈａ ｄｏｏ ｐ对 以后 的 超 市 所 代 表 的零 售 业 的商 业 ＯＬＡＰ 系 统 ，计 算 机 研 究 与 发 展 ，２０１ ３，５０ 模 式 有着 潜在 的 巨大 影 响 ， 合 理 的运 用 能 提 高 企业 （ｚ １）： ３８ ０— ３８３． 的竞 争力 。 李唐 平 ， 基 于矩 阵的 关联 规 则 算 法 与 Ａｐｒ ｉ ｏ ｒ ｉ 参 考文献 ： 算法 的 研 究 及 改 进 ，计 算 机 学 报 ， ２０１３，３１ ［１］ Ｔｏ ｍ Ｗｈｉ ｔ ｅ．Ｈａ ｄｏ ｏｐ：ＴｈｅＤｅ ｆ ｉ ｎｉ ｔ ｉ ｖｅＧｕｉ ｄｅ［Ｍ］． （５）： １ ２０— １ ２６． Ｃａｌ ｉ ｆ ｏｒ ｎｉ ａ， ＵＳＡ ：０ Ｒｅｉ ｌ ｙ Ｍｅｄｉ ａ，Ｉｎｃ．， ２０１２． ｒＬ ５ ］