Apache Hadoop là một phần mềm mã nguồn mở cung cấp giải pháp lưu trữ và tính toán. Hadoop được thiết kế để chạy trên cụm nhiều máy tính để phát hiện và xử lý các lỗi ở lớp ứng dụng, do đó cung cấp một dịch vụ hiệu năng cao và có khả năng chịu lỗi.
Apache Hadoop gồm các mô-đun:
- Hadoop Common: Các tiện ích chung hỗ trợ các mô-đun Hadoop khác.
- Hệ thống tệp tin phân tán Hadoop (HDFS ™): Lưu trữ dữ liệu
- Hadoop YARN: Nền tảng cho việc lập lịch và quản lý tài nguyên cụm.
- Hadoop MapReduce: Hệ thống dựa trên YARN để tính toán song song các bộ dữ liệu lớn.
Sau nhiều năm phát triển, Hadoop đã được phát hành đến các phiên bản 3.x. Đầu tháng 4 vừa qua, phiên bản mới nhất Hadoop 3.1.0 đã được ra mắt chính thức với ~768 vấn đề được sửa chữa và thay đổi. Hãy nhìn lại các thay đổi, nâng cấp giá trị của Hadoop 3 với các phiên bản 2.x và 1.x trước đó:
1. Sự linh hoạt
Mặc dù Hadoop 2 sử dụng container, nhưng Hadoop 3 đã nâng cấp thêm việc cách ly các container theo cách thức tương tự Docker. Do đó, Hadoop giảm thời gian cần thiết để khởi động và cung cấp dịch vụ
2. Chi phí
Với Hadoop 2, 6 blocks và cấu hình 3x replication sẽ mang đế kết quả là 18 blocks. Tuy nhiên, với Hadoop 3, một cơ chế mã hóa mới được cài đặt giúp 6 blocks chỉ cần thêm 3 block hỗ trợ để đạt khả năng khôi phục như 18 blocks của Hadoop 2. Do đó, hệ thống sẽ tiết kiệm được lượng lưu trữ đáng kể.
3. Khả năng mở rộng
Các phiên bản Hadoop trước chỉ sử dụng 1 NameNode để quản lý tất cả các Namespaces. Phiên bản 3 hỗ trợ nhiều NameNodes để cải thiện khả năng mở rộng. Ngoài ra, Hadoop 3 cũng cung cấp dịch vụ đồng bộ thời gian Timeline service v2 mới có độ tin cậy cao hơn.
4. Ứng dụng mới
Hadoop 3 hỗ trợ GPUs. Ngoài ra, phiên bản này hỗ trợ cân bằng lưu trữ cho các dữ liệu đã lưu trữ trước khi hệ thống thay đổi. Chức năng này đảm bảo dữ liệu luôn được phân bổ đều.
Trên đây là một số nâng cấp lớn của Hadoop phiên bản thứ 3. Các kế hoạch phát hành nhanh hơn dự kiến trong năm nay sẽ mang lại nhiều tính năng hơn cho người sử dụng càng sớm càng tốt.
Tham khảo: hortonworks