Nén dữ liệu là giảm số bit cần thiết để biểu diễn dữ liệu. Nén dữ liệu có thể tiết kiệm dung lượng lưu trữ, tăng tốc độ truyền tệp và giảm chi phí cho phần cứng lưu trữ và băng thông mạng
Cách nén hoạt động
Nén được thực hiện bởi một chương trình sử dụng công thức hoặc thuật toán để xác định cách thu nhỏ kích thước của dữ liệu. Chẳng hạn, một thuật toán có thể biểu thị một chuỗi bit -- hoặc 0 và 1 -- với một chuỗi 0 và 1 nhỏ hơn bằng cách sử dụng từ điển để chuyển đổi giữa chúng. Công thức cũng có thể chèn một tham chiếu hoặc con trỏ tới một chuỗi 0 và 1 mà chương trình đã thấy
Nén văn bản có thể đơn giản như loại bỏ tất cả các ký tự không cần thiết, chèn một ký tự lặp lại duy nhất để biểu thị một chuỗi ký tự lặp lại và thay thế một chuỗi bit nhỏ hơn cho một chuỗi bit xuất hiện thường xuyên. Nén dữ liệu có thể giảm kích thước tệp văn bản xuống 50% hoặc cao hơn đáng kể so với kích thước ban đầu
Đối với truyền dữ liệu, nén có thể được thực hiện trên nội dung dữ liệu hoặc trên toàn bộ đơn vị truyền dẫn, bao gồm cả dữ liệu tiêu đề. Khi thông tin được gửi hoặc nhận qua internet, các tệp lớn hơn -- đơn lẻ hoặc cùng với các tệp khác như một phần của tệp lưu trữ -- có thể được truyền ở định dạng ZIP, GZIP hoặc định dạng nén khác
Tại sao nén dữ liệu lại quan trọng?
Nén dữ liệu có thể làm giảm đáng kể dung lượng lưu trữ mà một tệp chiếm. Ví dụ, trong 2. 1, tệp 20 megabyte [MB] chiếm 10 MB dung lượng. Do nén, quản trị viên tốn ít tiền hơn và ít thời gian hơn cho việc lưu trữ
Nén tối ưu hóa hiệu suất lưu trữ dự phòng và gần đây đã xuất hiện trong việc giảm dữ liệu lưu trữ chính. Nén sẽ là một phương pháp giảm dữ liệu quan trọng khi dữ liệu tiếp tục tăng theo cấp số nhân
Hầu như bất kỳ loại tệp nào cũng có thể được nén, nhưng điều quan trọng là phải tuân theo các phương pháp hay nhất khi chọn tệp để nén. Ví dụ: một số tệp có thể đã được nén, vì vậy việc nén các tệp đó sẽ không có tác động đáng kể
Phương pháp nén dữ liệu. nén không mất dữ liệu và mất dữ liệu
Nén dữ liệu có thể là một quá trình lossless hoặc lossy. Nén không mất dữ liệu cho phép khôi phục tệp về trạng thái ban đầu mà không làm mất một bit dữ liệu nào khi tệp không được nén. Nén không mất dữ liệu là cách tiếp cận điển hình với các tệp thực thi, cũng như các tệp văn bản và bảng tính, trong đó việc mất từ hoặc số sẽ làm thay đổi thông tin
Nén mất dữ liệu loại bỏ vĩnh viễn các bit dữ liệu dư thừa, không quan trọng hoặc không thể nhận thấy. Nén mất dữ liệu rất hữu ích với đồ họa, âm thanh, video và hình ảnh, trong đó việc loại bỏ một số bit dữ liệu có ít hoặc không ảnh hưởng rõ rệt đến việc thể hiện nội dung
Nén hình ảnh đồ họa có thể bị mất hoặc mất dữ liệu. Các định dạng tệp hình ảnh đồ họa thường được thiết kế để nén thông tin do các tệp có xu hướng lớn. JPEG là định dạng tệp hình ảnh hỗ trợ nén ảnh mất dữ liệu. Các định dạng như GIF và PNG sử dụng nén không mất dữ liệu
Nén so với. sao chép dữ liệu
Nén thường được so sánh với sao chép dữ liệu, nhưng hai kỹ thuật này hoạt động khác nhau. Chống trùng lặp là một kiểu nén tìm kiếm các khối dữ liệu dư thừa trên hệ thống lưu trữ hoặc tệp và sau đó thay thế từng đoạn trùng lặp bằng một con trỏ tới bản gốc. Các thuật toán nén dữ liệu làm giảm kích thước của các chuỗi bit trong luồng dữ liệu có phạm vi nhỏ hơn nhiều và thường không nhớ nhiều hơn megabyte cuối cùng hoặc ít hơn dữ liệu
Chống trùng lặp ở cấp độ tệp giúp loại bỏ các tệp dư thừa và thay thế chúng bằng các sơ khai trỏ đến tệp gốc. Chống trùng lặp cấp khối xác định dữ liệu trùng lặp ở cấp tệp con. Hệ thống lưu các phiên bản duy nhất của mỗi khối, sử dụng thuật toán băm để xử lý chúng và tạo một mã định danh duy nhất để lưu trữ chúng trong một chỉ mục. Chống trùng lặp thường tìm kiếm các khối dữ liệu trùng lặp lớn hơn nén và các hệ thống có thể chống trùng lặp bằng cách sử dụng một đoạn dữ liệu cố định hoặc có kích thước thay đổi
Chống trùng lặp hiệu quả nhất trong các môi trường có mức độ dư thừa dữ liệu cao, chẳng hạn như cơ sở hạ tầng máy tính để bàn ảo hoặc hệ thống sao lưu lưu trữ. Nén dữ liệu có xu hướng hiệu quả hơn chống trùng lặp trong việc giảm kích thước của thông tin duy nhất, chẳng hạn như hình ảnh, âm thanh, video, cơ sở dữ liệu và tệp thực thi. Nhiều hệ thống lưu trữ hỗ trợ cả nén và chống trùng lặp
Nén và sao lưu dữ liệu
Nén thường được sử dụng cho dữ liệu không được truy cập nhiều, vì quá trình này có thể tốn nhiều công sức và làm chậm hệ thống. Tuy nhiên, quản trị viên có thể tích hợp tính năng nén liền mạch trong hệ thống sao lưu của họ
Sao lưu là một loại khối lượng công việc dư thừa, vì quá trình này thường xuyên ghi lại các tệp giống nhau. Một tổ chức thực hiện sao lưu đầy đủ thường sẽ có gần như cùng một dữ liệu từ bản sao lưu này sang bản sao lưu khác
Có những lợi ích chính để nén dữ liệu trước khi sao lưu
- Dữ liệu chiếm ít dung lượng hơn vì tỷ lệ nén có thể đạt tới 100. 1, nhưng giữa 2. 1 và 5. 1 là phổ biến
- Nếu quá trình nén được thực hiện trong máy chủ trước khi truyền, thì thời gian cần thiết để truyền dữ liệu và tổng băng thông mạng sẽ giảm đáng kể
- Trên băng, hình ảnh hệ thống tệp nén, nhỏ hơn có thể được quét nhanh hơn để tiếp cận một tệp cụ thể, giảm độ trễ khôi phục
- Nén được hỗ trợ bởi phần mềm sao lưu và thư viện băng từ, vì vậy có thể lựa chọn kỹ thuật nén dữ liệu
Ưu và nhược điểm của nén
Ưu điểm chính của nén là giảm phần cứng lưu trữ, thời gian truyền dữ liệu và băng thông liên lạc - và kết quả là tiết kiệm chi phí. Tệp nén yêu cầu ít dung lượng lưu trữ hơn tệp không nén và việc sử dụng tính năng nén có thể dẫn đến giảm đáng kể chi phí cho ổ đĩa và/hoặc ổ cứng thể rắn. Tệp nén cũng cần ít thời gian hơn để truyền và nó tiêu tốn ít băng thông mạng hơn tệp không nén
Nhược điểm chính là tác động hiệu suất từ việc sử dụng tài nguyên CPU và bộ nhớ để nén dữ liệu. Nhiều nhà cung cấp đã thiết kế hệ thống của họ để cố gắng giảm thiểu tác động của các tính toán sử dụng nhiều bộ xử lý liên quan đến nén. Nếu quá trình nén chạy nội tuyến, trước khi dữ liệu được ghi vào đĩa, hệ thống có thể giảm tải quá trình nén để bảo toàn tài nguyên hệ thống. Chẳng hạn, IBM sử dụng thẻ tăng tốc phần cứng riêng để xử lý nén với một số hệ thống lưu trữ doanh nghiệp của mình
Nếu dữ liệu được nén sau khi được ghi vào đĩa hoặc sau quá trình xử lý, quá trình nén có thể chạy trong nền để giảm tác động đến hiệu suất. Mặc dù quá trình nén hậu xử lý có thể giảm thời gian phản hồi cho từng I/O, nhưng nó vẫn tiêu tốn bộ nhớ và chu kỳ bộ xử lý, đồng thời có thể ảnh hưởng đến tổng số I/O mà một hệ thống lưu trữ có thể xử lý. Ngoài ra, dữ liệu ban đầu phải được ghi vào đĩa hoặc ổ đĩa flash ở dạng không nén, do đó, tiết kiệm lưu trữ vật lý không lớn bằng nén nội tuyến
nén hệ thống tập tin
Nén hệ thống tệp có một cách tiếp cận khá đơn giản để giảm dung lượng lưu trữ của dữ liệu bằng cách nén trong suốt từng tệp khi nó được ghi
Nhiều hệ thống tệp Linux phổ biến -- bao gồm Reiser4, ZFS và btrfs -- và Microsoft NTFS có tùy chọn nén. Máy chủ nén các khối dữ liệu trong một tệp và sau đó ghi các đoạn nhỏ hơn vào bộ lưu trữ
Đọc lại liên quan đến độ trễ tương đối nhỏ để mở rộng từng đoạn, trong khi ghi thêm tải đáng kể cho máy chủ, do đó, việc nén thường không được khuyến nghị cho dữ liệu dễ bay hơi. Nén hệ thống tệp có thể làm giảm hiệu suất, vì vậy người dùng nên triển khai nó một cách có chọn lọc trên các tệp không được truy cập thường xuyên
Trong lịch sử, với các ổ cứng đắt tiền của các máy tính đời đầu, phần mềm nén dữ liệu -- chẳng hạn như DiskDoubler và SuperStor Pro -- đã trở nên phổ biến và giúp thiết lập hệ thống nén tệp chính thống.
Quản trị viên lưu trữ cũng có thể áp dụng kỹ thuật sử dụng nén và chống trùng lặp để cải thiện việc giảm dữ liệu
Công nghệ và sản phẩm sử dụng nén dữ liệu
Nén được tích hợp vào nhiều loại công nghệ, bao gồm hệ thống lưu trữ, cơ sở dữ liệu, hệ điều hành và ứng dụng phần mềm được sử dụng bởi các doanh nghiệp và tổ chức doanh nghiệp. Nén dữ liệu cũng phổ biến trong các thiết bị tiêu dùng, chẳng hạn như máy tính xách tay, PC và điện thoại di động
Nhiều hệ thống và thiết bị thực hiện nén một cách minh bạch, nhưng một số hệ thống cung cấp cho người dùng tùy chọn bật hoặc tắt tính năng nén. Nó có thể được thực hiện nhiều lần trên cùng một tệp hoặc một phần dữ liệu, nhưng các lần nén tiếp theo dẫn đến ít hoặc không nén thêm và thậm chí có thể làm tăng kích thước của tệp lên một chút, tùy thuộc vào thuật toán nén dữ liệu
WinZip là một chương trình phổ biến của Windows giúp nén các tệp khi đóng gói chúng trong kho lưu trữ. Các định dạng tệp lưu trữ hỗ trợ nén bao gồm ZIP và RAR. Các định dạng BZIP2 và GZIP được sử dụng rộng rãi để nén các tệp riêng lẻ
Các nhà cung cấp khác cung cấp tính năng nén bao gồm Dell với mảng XtremIO all-flash và Silk [trước đây là Kaminario] với mảng K2 all-flash
khác biệt dữ liệu
Sự khác biệt dữ liệu là một thuật ngữ chung để so sánh nội dung của hai đối tượng dữ liệu. Trong bối cảnh nén, nó liên quan đến việc tìm kiếm lặp đi lặp lại trong tệp đích để tìm các khối tương tự và thay thế chúng bằng tham chiếu đến đối tượng thư viện. Quá trình này lặp lại cho đến khi không tìm thấy đối tượng trùng lặp bổ sung nào. Sự khác biệt dữ liệu có thể dẫn đến nhiều tệp nén chỉ với một phần tử trong thư viện đại diện cho từng đối tượng trùng lặp
Trong máy tính để bàn ảo, kỹ thuật này có thể có tỷ lệ nén lên tới 100. 1. Quá trình này thường được liên kết chặt chẽ hơn với tính năng chống trùng lặp, tìm kiếm các tệp hoặc đối tượng giống hệt nhau, thay vì trong nội dung của từng đối tượng