So sánh Hadoop và Spark, nên sử dụng Hadoop hay Spark?

Hadoop và Spark là hai Framework hiện đại được sử dụng rất phổ biến trong lĩnh vực CNTT hiện nay. Vậy chúng có những đặc điểm khác biệt như thế nào? Nên sử dụng Hadoop hay Spark? Hãy cùng BKHOST theo dõi bài viết dưới đây để tìm kiếm câu trả lời.

So sánh Hadoop và Spark

Dưới đây là một số đặc điểm giống và khác giữa Hadoop và Spark:

Hiệu năng

Phương pháp để so sánh hiệu suất xử lý dữ liệu của Hadoop và Spark đó là truy cập dữ liệu được lưu trữ cục bộ trên HDFS. Kết quả cho thấy rằng Spark phù hợp hơn và Hadoop không thực sự khả thi với quá trình xử lý trong bộ nhớ.

Spark không sử dụng tính năng đọc và ghi dữ liệu trung gian vào đĩa mà sử dụng RAM. Còn Hadoop lưu trữ dữ liệu trên nhiều nguồn khác nhau và tiến hành xử lý theo luồng bằng MapReduce.

Bởi vì Spark lựa chọn sử dụng RAM để xử lý dữ liệu nên kết quả đạt được có tốc độ nhanh hơn gấp 100 lần so với Hadoop trên MapReduce. Đối với hiệu suất sắp xếp dữ liệu trên đĩa thì Spark nhanh hơn Hadoop gấp 3 lần. Đồng thời, nó yêu cầu ít Node hơn 10 lần để xử lý 100TB dữ liệu trên HDFS so với Hadoop.

Chi phí

Cả Hadoop và Spark đều là hai phần mềm mã nguồn mở miễn phí được triển khai dựa trên Framework. Do đó, người dùng chỉ tốn chi phí vào các vấn đề như cơ sở hạ tầng, bảo trì hay phát triển.

Phần cứng cơ bản để chạy hai Framework này là vấn đề được quan tâm nhất. Bởi vì Hadoop có thể sử dụng bất cứ loại đĩa cứng nào để xử lý dữ liệu nên nó có chi phí vận hành tương đối thấp.

Còn Spark thì phụ thuộc nhiều vào tính toán trong bộ nhớ để xử lý dữ liệu theo thời gian thực. Điều này sẽ yêu cầu nhiều RAM hơn, do đó mà chi phí đầu tư RAM cũng sẽ nhiều hơn. Về vấn đề phát triển ứng dụng, bởi vì Hadoop được triển khai trước Spark nên ít gặp khó khăn trong việc tìm các nhà phát triển phần mềm.

Xử lý dữ liệu

Cả hai Framework xử lý dữ liệu Hadoop và Spark đều có những cách hoạt động khác nhau. Tuy nhiên, Hadoop với MapReduce khả thi hơn trong môi trường xử lý dữ liệu hàng hoạt. Ngược lại, Spark với RDD khả thi hơn trong môi trường xử lý dữ liệu trong thời gian thực.

Hadoop dựa vào phần cứng để lưu trữ dữ liệu trên đĩa và tiến hành phân tích song song hàng loạt trong môi trường phân tán. Spark dựa vào DAG để phân vùng RDD thành các Node và tiến hành phân tích song song.

Spark sử dụng kỹ thuật tính toán trong bộ nhớ và API cấp cao để xử lý các luồng dữ liệu phi cấu trúc một cách hiệu quả. Ngoài ra, dữ liệu được lưu trữ ở một số phân vùng được xác định trước sẽ được bổ sung Node cần thiết. Tuy nhiên, một phân vùng không thể mở rộng rang Node khác.

Khả năng chịu lỗi

Cả Hadoop và Spark đều có mức độ xử lý lỗi khá ổn định. Tuy nhiên, mỗi Framework sẽ có cách tiếp cận và khắc phục vấn đề khác nhau:

• Hadoop coi khả năng chịu lỗi giống như một tính năng hoạt động. Nó sẽ sao chép dữ liệu nhiều lần trên các Node. Điều này giúp bảo vệ dữ liệu trong trường hợp hệ thống xảy ra sự cố. Trong đó, các Node chính sẽ theo dõi trạng thái và quản lý hoạt động tất cả các Node phụ.
• Spark dựa vào các khối RDD để nâng cao khả năng chịu lỗi. Nó có thể tạo lại các dữ liệu trong một cụm bằng cách sử dụng tính năng theo dõi DAG của quá trình hoạt động. Cấu trúc dữ liệu này cho phép Spark xử lý các vấn đề lỗi trong hệ sinh thái xử lý dữ liệu phân tán.

Khả năng mở rộng

Hadoop sử dụng HDFS để xử lý các dữ liệu lớn. Cụ thể, khi lượng dữ liệu bị tăng lên thì Hadoop sẽ mở rộng quy mô để đáp ứng nhu cầu. Bởi vì Spark không có hệ thống tệp nên nó cũng sẽ dựa vào HDFS để xử lý dữ liệu lớn.

Các cụm có thể dễ dàng được mở rộng và đáp ứng hiệu suất tính toán bằng cách bổ sung thêm nhiều máy chủ hơn vào mạng. Do đó, số lượng Node có trong cả hai Framework này có thể lên tới hàng nghìn.

Theo nghiên cứu cho thấy có gần 8000 máy trong môi trường Spark với hàng Petabyte dữ liệu. Trong các cụm Hadoop thì có thể tìm thấy hàng chục nghìn máy và gần một Exabyte dữ liệu.

Dễ sử dụng và hỗ trợ ngôn ngữ lập trình

Spark là một Framework mới có ít chuyên gia hỗ trợ hơn so với Hadoop nhưng nó lại thân thiện hơn với người dùng. Ngoài ra, Spark có thể hỗ trợ nhiều ngôn ngữ khác ngoài Scala như Java, Python, R và Spark SQL. Điều này cho phép các nhà phát triển có thể sử dụng loại ngôn ngữ lập trình yêu thích.

Framework Hadoop dựa trên ngôn ngữ Java và Python để viết mã MapReduce. Mặc dù không có tính năng tương tác hỗ trợ người dùng những Hadoop lại có thể tích hợp với các công cụ hỗ trợ như Pig và Hive. Điều này cho phép các nhà phát triển có thể viết các chương trình MapReduce phức tạp dễ dàng hơn.

Không chỉ hỗ trợ API bằng nhiều ngôn ngữ lập trình khác nhau, Spark còn cung cấp tính năng tương tác nâng cao. Người dùng có thể sử dụng Shell Spark để phân tích các dữ liệu tương tác với Scala hoặc Python. Trong đó, Shell cung cấp phản hồi tức thì cho các truy vấn. Điều này làm cho Spark khả thi hơn Hadoop MapReduce.

Spark có thể sử dụng lại các mã hiện có còn Hadoop thì không. Điều này cho phép các nhà phát triển có thể giảm thiểu thời gian triển khai ứng dụng. Đồng thời, các dữ liệu về lịch sử và luồng cũng có thể được tích hợp giúp đẩy nhanh quá trình triển khai hơn.

Bảo mật

Hadoop có tính năng bảo mật tốt hơn so với Spark. Bởi vì các tính năng bảo mật của Spark được tắt theo mặc định khiến cho các thiết lập trên máy chủ có thể bị lộ. Để cải thiện vấn đề hãy bắt đầu quá trình xác thực thông qua Shared Secret hoặc Event Logging.

Hadoop sử dụng nhiều phương pháp xác thực và kiểm soát truy cập. Trong đó, Kerberos là hình thức xác thực phức tạp nhất mà Hadoop sẽ phải sử dụng các công cụ hỗ trợ như Ranger, LDAP, ACL, Inter-Mode Encryption, quyền truy cập tiêu chuẩn trên HDFS và Service Level Authorization.

Để có thể cải thiện bảo mật ở mức độ tốt nhất, các nhà cung cấp có thể tích hợp các phương pháp có sẵn của Spark cho Hadoop và HDFS. Ngoài ra, khi Spark chạy trên YARN cho phép người dùng có thể sử dụng các phương pháp xác thực có sẵn.

Machine Learning

Machine Learning là một quá trình lặp lại các hoạt động khả thi bằng cách sử dụng In-Memory Computing. Do đó, Spark là một Framework hiệu quả hơn trong Machine Learning.

Hadoop MapReduce không hiệu quả là do nó chia các công việc thành nhiều tác vụ song song vượt quá khả năng xử lý của Machine Learning. Quá trình này gây ảnh hưởng trực tiếp đến hiệu suất I/O trong các ứng dụng Hadoop.

Library Mahout là nền tảng Machine Learning chính trong cụm Hadoop hoạt động dựa vào MapReduce để thực hiện nhiệm vụ phân cụm, phân loại và đề xuất. Ngoài ra, Spark còn tích hợp với Machine Learning Library là MLlib để thực hiện các tính toán ML trong bộ nhớ và lặp lại chúng.

Spark với MLlib có hiệu suất hoạt động nhanh hơn gấp 9 lần so với Apache Mahout trong môi trường dựa trên đĩa Hadoop. Do đó, Spark là lựa chọn tốt hơn trong môi trường Machine Learning.

Lập kế hoạch và quản lý tài nguyên

Hadoop không có Built-In Scheduler nên nó sử dụng các giải pháp hỗ trợ bên ngoài để có thể quản lý tài nguyên và lập kế hoạch hiệu quả. Với ResourceManager và NodeManager, YARN chịu trách nhiệm quản lý tài nguyên trong cụm Hadoop. Một trong những công cụ có sẵn để lập lịch trình công việc là Oozie.

Tuy nhiên, YARN không chịu trách nhiệm xử lý các công việc như kiểm soát trạng thái hoạt động của các ứng dụng riêng lẻ. Mà nó chỉ thực hiện phân bổ khả năng xử lý có sẵn một cách hợp lý.

Hadoop MapReduce hoạt động với các Plug-in như Capacity Scheduler và Fair Scheduler để duy trì hiệu suất của cụm. Trong đó, Fair Scheduler cung cấp các tài nguyên cần thiết cho các ứng dụng.

Spark được tích hợp sẵn các tính năng này. Trong đó, bộ DAG Scheduler có nhiệm vụ phân chia các Operator thành nhiều giai đoạn khác nhau. Mỗi giai đoạn sẽ thực hiện một mục tiêu mà DAG đã lên lịch sẵn. Spark Scheduler và Block Manager thực hiện lên kế hoạch công việc và nhiệm vụ, giám sát và phân phối tài nguyên trong một cụm.

Các trường hợp sử dụng Hadoop và Spark

Hadoop và Spark được ứng dụng phụ thuộc vào từng trường hợp cụ thể:

Đối với Hadoop

Các trường hợp sử dụng Hadoop bao gồm:

• Xử lý tập dữ liệu lớn và hàng loạt các tác vụ khai thác hoạt động đọc/ghi đĩa.
• Tiết kiệm thời gian và chi phí xây dựng cơ sở hạ tầng phân tích dữ liệu.
• Phân tích dữ liệu lịch sử và lưu trữ.

Đối với Spark

Các trường hợp sử dụng Spark bao gồm:

• Phân tích dữ liệu luồng thời gian thực.
• Thời gian xử lý các tính toán trong bộ nhớ diễn ra nhanh chóng.
• Xử lý các chuỗi hoạt động song song bằng thuật toán lặp.
• Xử lý đồ thị song song để mô hình hóa dữ liệu.
• Hỗ trợ các ứng dụng Machine Learning.

Lựa chọn Hadoop hay Spark?

Hadoop và Spark là đều là hai công nghệ xử lý dữ liệu lớn. Điểm khác nhau giữa hai Framework này đó là cách quản lý và xử lý dữ liệu.

Cả hai Framework được triển khai để hỗ trợ lẫn nhau. Do đó, Spark được triển khai sau Hadoop với mục đích cải tiến Framework để tạo ra một hệ sinh thái mới tốt hơn và nhiều tính năng nâng cao hơn.

Các nhà cung cấp lựa chọn tích hợp cả hai Framework để bổ sung những tính năng mà Spark còn thiếu, chẳng hạn như hệ thống tệp. Hadoop lưu trữ và phân tích số lượng lớn dữ liệu bằng phần cứng. Còn Spark với khả năng xử lý dữ liệu theo thời gian thực.

Nếu như không có Hadoop thì các ứng dụng kinh doanh có thể bỏ sót một vài dữ liệu lịch sử quan trọng mà Spark không xử lý được. Do đó, Spark lựa chọn tận dụng các tính năng quản lý tài nguyên và bảo mật của Hadoop để thực thi công việc hiệu quả hơn trong nhiều lĩnh vực.

Tổng kết