האתגר
מה עמד לפני DATwise?
DATwise רצתה לאפשר לאנליסטים להריץ שאילתות על נתונים שמפוזרים בין Databases שונים, Data Lakes ו-SaaS APIs. לא הייתה שכבת Abstraction אחידה, כל Connector דרש פיתוח נפרד, ונדרש Query Engine שיתמוך ב-Joins בין מקורות שאינם SQL.
הפתרון
מה בנינו
בנינו Query Federation Engine מבוסס Apache Arrow שמאפשר הרצת שאילתות SQL על מקורות הטרוגניים. פיתחנו Connector Framework סטנדרטי שמאפשר הוספת מקור חדש תוך יום. שכבת Caching מבוססת Materialized Views מפחיתה זמן ריצה לשאילתות חוזרות ב-80%.
תוצאות
מה השגנו יחד
✓חיבור ל-14 סוגי מקורות נתונים שונים תוך 5 חודשי פיתוח
✓שאילתות Cross-Source מסתיימות תוך 3 שניות בממוצע
✓הוספת Connector חדש ירדה מ-3 שבועות ל-יום עבודה אחד