Tin tức

SAP Trong Kỉ Nguyên Big Data: SAP VORA

Big Data là gì: Big Data nôm na là dữ liệu lớn, rất lớn đến mức các kĩ thuật xử lý truyền thống không thể áp dụng được. Trong thời đại IoT, big data càng trở nên phức tạp khi mọi thứ đều được kết nối tới Internet và sản sinh ra dữ liệu

Chúng ta đang đói thông tin nhưng lại đang chìm ngập trong dữ liệu. Có ba thách thức lớn với big data

• Xử lý data không hiệu quả: Xử lý thời gian thực là điều không thể khi data phân tán trên hàng ngàn node và được xỉ lý tuần tự.
• Thiếu sự liên kết với business: Nhu cầu cần kết nối giữa quyết định business với các yếu tố thị trường bên ngoài bằng cách xử lý, làm giàu dữ liệu trong hệ thống doanh nghiệp thông thường với Hadoop data lake.
• Quản lý Big Data tốn kém: Dữ liệu quá lớn làm chậm hệ thống business thông thường

SAP Vora là gì: SAP Vora là một giải pháp kết nối dữ liệu enterprise và dữ liệu Hadoop (data lake) và xử lý với công nghệ in-memory processing

Business case: Máy bay được kết nối IoT và bảo trì/bảo dưỡng được dự đoán trước (predictive maintenance):

Ví dụ một công ty có một chiếc máy bay trang bị 40.000 sensors, mỗi sensor gửi data của nó mỗi giây. Với sự trợ giúp của predictive maintenance, doanh nghiệp có thể dự đoán được linh kiện/phụ tùng của chiếc máy bay đó có thể hư hỏng trong tương lai gần, và ra quyết định thay thế hoặc sửa chữa. Từ đó, tối đa hóa thời gian hoạt động của máy bay đó  và tối thiểu hóa chi phí tổng thể. Vấn đề là data từ 40.000 sensors / giây rất lớn, vì vậy data đó được chứa trong data lake (trong trường hợp này là Hadoop). Data lake này được kết nối tới hệ thống ERP vì dữ liệu BOM (Bill of Material) được chứa ở đó. Từ đây, các bộ phận thay thế có thể được đặt mua từ hệ thống ERP, với đầy đủ các thông tin về giá, lịch trình… SAP Vora có vai trò kết hợp, xử lý (bao gồm các tính năng OLAP) sau đó trả về dữ liệu trong thời gian ngắn với sự trợ giúp của xử lý in-memory, giúp doanh nghiệp có cái nhìn tốt hơn về enterprise data và data trong data lake.

SAP Vora sử dụng một engine xử lý in-memory, có thể integrate với Hadoop ecosystem và Apache Spark (execution framework). Apache Spark đóng vai trò là một engine tương thích với data phân tán trong Hadoop, hỗ trợ in-memory processing. SAP Vora được thiết kế để sử dụng trong môi trường file system lớn và phân tán, cải thiện performance bằng cách xử lý data trong memory, và cung cấp các chức năng OLAP (online analytical processing) cho các analysis đa chiều, bao gồm hierarchical report (report dạng cây). Ngoài ra SAP Vora cũng có khả năng tích hợp với các giải pháp khác, ví dụ SAP HANA.

Dành cho những ai chưa biết về Hadoop, sau đây là một số thông tin cơ bản:

• Hadoop is a combination of many open-source components that work together to support the distributed processing of large datasets.
• Hadoop là một framework, trong có chứa nhiều component open-source, hoạt động cùng nhau thành một giải pháp tổng thể để xử lý dữ liệu lớn.
• HDFS (Hadoop distributed file system): file system phân tán của Hadoop với các tính năng như replication, fault tolerance…
• YARN: dùng để quản lý resource của cluster như memory, CPU…

Vì Hadoop là một platform mở của Apache, nên các phiên bản thương mại của nó có thể được sử dụng từ nhiều vendor như HDP, CHD, MapR

Kiến trúc của SAP VORA

 
 
SAP Vora bao gồm 2 component chính:

• SAP VORA engine (phần màu xanh)
• SAP VORA Apache Spark extension library (phần màu vàng)


Cách thức hoạt động của SAP Vora (xử lý in-memory phân tán) (trong xử lý phân tán với SAP Vora, mỗi node-worker đều có instance SAP Vora và Spark)

Lấy ví dụ tính toán giá trị trung bình của một sensor cụ thể trong một khoảng thời gian
 
Đầu tiên, Spark gửi yêu cầu đến các engine trên các node

Trên từng node:

• Một phần data được lưu local trên HDFS, ví dụ phần 3/10 (1)
• Loading data lên Vora engine (2)
• Xử lý dữ liệu (với in-memory processing) (3)
• Trả lại kế quả cho Spark (4)


 Quay lại với ví dụ về chiếc máy bay khi nãy. Giả sử máy bay có một turbin, trong đó có các thành phần như: hệ thống làm mát, hệ thống phun xăng, mô tơ… được trang bị với nhiếu sensor khác nhau Các sensor stream data liên tục và được cấu trúc trong một cây hierarchy (figure 3) (cây hierarchy này được lưu trữ trong hệ thống ERP). Hệ thống Hadoop (data lake) lưu trữ dữ liệu từ sensors report là sensor của bơm (sensor 2) đang có nhiệt độ cao. Có hai khả năng xảy ra ở đây, hoặc sensor hoặc bơm bị hư (hoặc cả hai đều hư). Trong trường hợp này, nếu sensor 3 cũng có nhiệu độ cao thì chúng ta có thể chắc chắn rằng bơm bị hư. Tuy nhiên, cả hai sensor này phải nằm cùng trên một hierarchy level (BOM-master data).


Tổng kết lại, với business case trong bài viết này, Hadoop cần tổ chức Big Data của nó với data của doanh nghiệp (enterprise data) trong SAP HANA. SAP Vora đóng vai trò thao tác dữ liệu Big Data từ Hadoop (sử dụng Apache Spark Execution Framework) và enterprise data từ SAP HANA, từ đó cung cấp một nền tảng thống nhất cho analysis của doanh nghiệp

 

Dịch vụ

Dịch vụ Tư vấn triển khai SAP
Triển khai và nâng cấp hệ thống hoạch địch nguồn lực doanh nghiệp ERP như SAP là một sự đầu tư và nỗ lực khởi đầu với việc hoạch định chiến lược và mở rộng tới hoạt động triển khai và các giai đoạn tiếp theo.
Xem chi tiết
Dịch vụ Nâng cấp hệ thống SAP
-       Nâng cấp theo các phiên bản mới (New version – functionalities)

-       Tư vấn và thống nhất quy trình theo phiên bản mới

-       Xây dựng hệ thống theo quy trình mới

-       Chuyển đổi dữ liệu theo quy trình mới

-       Đào tạo đưa hệ thống vào vận hành 

Xem chi tiết
Dịch vụ bảo trì vận hành hệ thống SAP
Dịch vụ bảo trì phần mềm không chỉ bao gồm dịch vụ hỗ trợ khách hàng như chăm sóc, hỗ trợ, hướng dẫn sử dụng phần mềm trong suốt quá trình kể từ khi bắt đầu triển khai tới kết thúc nghiệm thu, mà còn liên tục nâng cấp tính năng, cải tiến chất lượng, vá lỗi phần mềm để đảm bảo sản phẩm cung cấp cho khách hàng có chất lượng tốt nhất, đáp ứng tối đa nhu cầu khách hàng
Xem chi tiết
Dịch vụ Cho thuê nguồn lực
Dịch vụ cho thuê nhân lực – Bản thân khách hàng đôi lúc vẫn cảm thấy thiếu hụt về chuyên môn hay kinh nghiệm trong một lĩnh vực hoạt động nào đó. Chính vì thế, NGS đã đưa ra dịch vụ cho thuê nhân lực nhằm mục đích hỗ trợ khách hàng trong tất cả khâu thuộc quy trình sản xuất kinh doanh.
Xem chi tiết
Dịch vụ đào tạo SAP

- Đào tạo Basis

- Đào tạo ABAP

- Đào tạo Functional

- Đào tạo vận hành hệ thống ERP SAP

- Đào tạo và hướng dẫn kiểm soát hệ thống ERP SAP

- Đào tạo theo nhu cầu của Doanh nghiệp từ cơ bản đến nâng cao

- Thiết kế và thực hiện các khóa đào tạo ERP SAP theo yêu cầu của Doanh nghiệp (từ cơ bản đến nâng cao)

Xem chi tiết