Spark + Hadoop,基于WIFI探針的大數(shù)據(jù)分析系統(tǒng)

WIFI探針是一種可以記錄附近mac地址的嗅探器，可以根據(jù)收集到的mac地址進(jìn)行數(shù)據(jù)分析，獲得附近的人流量、入店量、駐留時(shí)長(zhǎng)等信息。

本系統(tǒng)以Spark + Hadoop為核心，搭建了基于WIFI探針的大數(shù)據(jù)分析系統(tǒng)。

AI項(xiàng)目體驗(yàn)地址 https://loveai.tech

項(xiàng)目演示地址

http://v.youku.com/v_show/id_XMjg1OTYxNzg1Ng==.html?spm=a2hzp.8244740.0.0

py-script

模擬發(fā)送探針數(shù)據(jù)的python腳本，使用多線程來(lái)模擬大量探針的發(fā)包

Databases in System

• MySQL

關(guān)系型數(shù)據(jù)庫(kù)，負(fù)責(zé)存儲(chǔ)一些不會(huì)經(jīng)常讀取的數(shù)據(jù),比如分析程序的參數(shù)配置、商場(chǎng)信息等

• HBase

分布式非關(guān)系型數(shù)據(jù)庫(kù)，用于永久性存儲(chǔ)原始數(shù)據(jù)，供離線分析程序使用

• Redis

非關(guān)系型數(shù)據(jù)庫(kù)，適用于存儲(chǔ)快速讀寫(xiě)的數(shù)據(jù)，用于存儲(chǔ)分析結(jié)果，存儲(chǔ)格式為json