什麼是“大數據”?

為什麼這是一個大問題?

“大數據”是通過研究大量非結構化數據來理解和預測人類行為的新科學。 大數據也被稱為“預測分析”。

分析Twitter帖子,Facebook供稿,eBay搜索,GPS追踪器和ATM機是一些大數據示例。 學習安全視頻,交通數據,天氣模式,航班抵達,手機塔台日誌和心率跟踪器等都是其他形式。 大數據是一種每週都在變化的混亂新科學,只有少數專家能夠理解這一切。

常規生活中的大數據有哪些例子?

截圖http://project.wnyc.org/transit-time

雖然大多數大數據項目都很模糊,但有大量數據影響個人,公司和政府的日常生活:

預測病毒爆發:通過研究社會政治數據,天氣和氣候數據以及醫院/臨床數據,這些科學家現在可以提前4週通知預測登革熱爆發。

兇殺觀察:這個大數據項目描述了華盛頓特區的謀殺案受害者,嫌犯和罪犯。 作為尊重死者的一種方式,並且作為人們的意識資源,這個大數據項目是令人著迷的。

紐約市過境旅遊規劃: WNYC電台節目製作人史蒂夫梅倫德斯將在線地鐵時間表與旅行行程軟件結合在一起。 他的創作讓紐約人在地圖上點擊他們的位置,並預測火車和地鐵的旅行時間。

施樂減少了勞動力的損失:呼叫中心的工作讓情緒疲憊不堪。 施樂公司在專業分析師的幫助下研究了大量數據,現在他們可以預測哪些呼叫中心員工可能會留在公司最長時間。

支持反恐:通過研究社交媒體,財務記錄,航班預訂和安全數據,執法部門可以在恐怖嫌疑人做出惡行之前預測和定位恐怖嫌犯。

基於社交媒體評論調整品牌營銷 人們直言不諱地在酒吧,餐廳或健身俱樂部分享他們的在線想法。 有可能研究這些數以百萬計的社交媒體帖子,並向公司提供關於人們對其服務的看法的反饋。

誰使用大數據? 他們用它做什麼?

許多整體公司使用大數據來調整他們的產品和價格,以最大限度地提高客戶滿意度。

為什麼大數據如此重大?

4件事情使大數據顯著:

1.數據量很大。 它不適合單個硬盤 ,更不用說USB棒 。 數據量遠遠超過人類頭腦所能感知的數量(想想十億兆字節,然後再乘以數十億)。

2.數據雜亂無章。 大數據工作的50%到80%正在轉換和清理信息,以便搜索和排序。 在我們這個星球上只有幾千名專家完全知道如何做這種數據清理。 這些專家還需要非常專業的工具,如HPE和Hadoop來完成工作。 也許在10年後,大數據專家將會變成一打,但現在,他們是非常罕見的分析師,他們的工作仍然非常模糊和乏味。

數據已經成為可以出售和購買的商品**。 數據市場中存在公司和個人可以購買千兆字節的社交媒體和其他數據。 大部分數據都是基於雲的,因為它太大而無法適應任何單個硬盤。 購買數據通常涉及訂閱費,您可以將其插入雲服務器場。

**大數據工具和創意的領導者是亞馬遜,谷歌,Facebook和雅虎。 由於這些公司為數以百萬計的人提供在線服務,因此它們將成為大數據分析背後的收集點和夢想家。

4.大數據的可能性是無止境的。 也許醫生有一天會在發生之前的幾個星期預測心髒病發作和中風。 通過對機械數據,交通和天氣模式的預測分析,可能會降低飛機和汽車碰撞事故的發生。 網上約會可能會通過讓大數據預測您的兼容人物來改善。 音樂家可以深入了解什麼是最適合目標觀眾口味變化的音樂作品。 營養學家可能能夠預測商店購買食物的哪種組合會加重或幫助一個人的醫療條件。 表面只被劃傷,大數據的發現每週都在發生。

大數據是凌亂的

Monty Rakusen / Getty

大數據是預測性分析:將大量的非結構化數據轉換為可搜索和可排序的內容。 這是一個混亂和混亂的空間,需要一種特殊的知識和耐心。

以單片UPS交付服務為例。 UPS的程序員研究駕駛員GPS和智能手機的數據,分析適應交通擁堵的最有效方法。 這款GPS和智能手機數據龐大,不能自動準備分析。 這些數據通過不同的智能手機硬件設備從各種GPS和地圖數據庫中輸入。 UPS分析師花費數月的時間將所有數據轉換為可輕鬆搜索和排序的格式。 不過,這項工作還是值得的。 今天,UPS開始使用這些大數據分析後,已節省了超過800萬加侖的燃料。

由於大數據很混亂,需要花費很多精力來清理和準備使用,數據科學家們已經成為他們所做的所有繁瑣工作的綽號“數據管理員”。

儘管如此,大數據和預測分析科學每週都在不斷改進。 預計到2025年,所有人都可以輕鬆訪問大數據。

大數據不是對隱私的侵入性威脅嗎?

Feingersh / Getty

是的,如果我們的法律和個人隱私防護措施沒有得到仔細管理,那麼大數據就會侵犯個人隱私。 現在, 谷歌和YouTube以及Facebook已經追踪你的每日在線習慣 。 您的智能手機和計算機生活每天都會留下數字足跡,而復雜的公司正在研究這些足跡。

有關大數據的法律正在發生變化。 隱私是一種存在的狀態,您現在必須承擔個人責任,因為您不能再期望它是默認權利。

你可以做些什麼來保護你的隱私:

您可以採取的最大的一步是使用VPN網絡連接掩蓋您的日常習慣 。 VPN服務將擾亂您的信號,使您的身份和位置至少部分被跟踪器屏蔽。 這不會讓你百分百匿名,但是一個VPN將大大減少世界可以觀察你的在線習慣。

我在哪裡可以了解有關大數據的更多信息

蒙蒂拉斯庫森/蓋蒂

大數據對於具有分析思維和對科技的熱愛的人來說是一件有趣的事情。 如果這就是你,那麼一定要訪問這個有趣的大數據項目頁面。