Big Data #4 – Cơ bản về kiến trúc Big Data

Chu kỳ của Big Data

Cũng giống các ứng dụng liên quan đến cơ sở dữ liệu khác, dự án big data cũng có chu kỳ phát triển của nó. 3Vs đóng vai trò quan trọng trong việc quyết định kiến trúc của dự án big data. Dự án big data cũng có các phase như data capturing, transforming, integrating, analyzing và building actionable reporting.

Các quá trình này trông gần như giống nhau, nhưng do bản chất của dữ liệu, kiến trúc thường là hoàn toàn khác nhau. Dưới đây là vài câu hỏi mà tất cả mọi người nên hỏi trước khi bắt đầu với kiến trúc big data. (more…)

Big Data #3 – Sự tiến hóa của Big Data

Dữ liệu dạng Flat File

data_in_flat_file

 

Dữ liệu được lưu trong các tập tin văn bản thường không chứa cấu trúc (flat file). Không có khả năng truy xuất dữ liệu hiệu quả và việc tích hợp dữ liệu không thể thực hiện khi không có bất kỳ mô hình hay cấu trúc xung quanh. Dữ liệu lưu trong flat file sẽ gặp vấn đề về khai thác trong thời đại ngày nay. Nó như một cơn ác mộng khi có bất kỳ xử lý dữ liệu trong ứng dụng. Mặc dù các ứng dụng được phát triển tại thời điểm đó là phù hợp với sự phát triển của kỹ thuật và dữ liệu. (more…)

Big Data #2 – Big Data là gì? – So sánh Volume, Velocity và Variety

Dữ liệu là mãi mãi, đây là sự thật. Bạn có đang dùng 1 ứng dụng được xây dựng cách đây 10 năm? Bạn có đang dùng các phần cứng được tạo ra cách đây 10 năm? Câu trả lời đa phần là không. Tuy nhiên, nếu hỏi – bạn có đang dùng dữ liệu đã có cách đây 50 năm? câu trả lời chắc chắn là có. Ví dụ, nhìn vào lịch sử của dân tộc, hay như dữ liệu ngày sinh nhật của chúng ta – ít nhất chúng ta cũng đang sử dụng nó đến ngày hôm nay. Dữ liệu không bao giờ cũ và nó sẽ được lưu giữ mãi.

Các tổ chức ngày càng phát triển, dữ liệu liên quan cũng phát triển và ngày càng phức tạp hơn. Hầu hết các tổ chức lớn đều có dữ liệu trong nhiều ứng dụng và định dạng khác nhau. Dữ liệu dàn trải rất khó để phân loại với chỉ 1 thuật toán duy nhất. Cuộc cách mạng di động đã hoàn toàn thay đổi cách chúng ta thu thập dữ liệu và xây dựng các hệ thống thông minh. Các tổ chức lớn đang thực sự đối mặt với thách thức để giữ tất cả dữ liệu trên một nền tảng để cho họ một cái nhìn nhất quán tất cả dữ liệu đang có. (more…)

Big Data #1 – Bắt đầu Big Data

Big Data – Bắt đầu Big Data

  • Big Data là gì?
  • Tôi muốn học Big Data. Tôi không biết cách bắt đầu học như thế nào.
  • Big Data thật sự có ý nghĩa là dữ liệu thì lớn?
  • Những công cụ và phần mềm gì cần biết khi học Big Data?

Trên đây là những câu hỏi rất hay, chân thật và cũng khó để tìm được câu trả lời thỏa đáng. (more…)