PracticU

הסבר על Multicast ב-SSIS

בלי כתוביותעם כתוביות
PracticU › קורס SSIS › הסבר על Multicast ב-SSIS
מילון מושגים:
Multicast - שליחת מידע מצומת אחד לקבוצה מוגדרת של נמענים ברשת בו-זמנית, בלי לשלוח לכל המכשירים.
SSIS - רכיב של SQL Server לבניית תהליכי ETL להעברה ולעיבוד של נתונים בין מקורות.
רכיב - יחידת בניין עצמאית וניתנת לשימוש חוזר בתוך מערכת או ממשק משתמש, שאחראית על חלק מוגדר מהתפקוד.
ממשק - נקודת מגע בין רכיבים: ממשק משתמש שבו אדם מפעיל תוכנה, או ממשק תכנותי שמגדיר אילו פעולות רכיב אחד חושף לאחר.

הסבר על Multicast ב-SSIS
ההרצאה מתארת שלושה רכיבים של Data Flow ב-SSIS שמאחדים או מפזרים נתונים: Merge, Union All ו-Multicast, ומסבירה את ההבדלים ביניהם.
ההבדלים בין הרכיבים
1. Merge: מאחד מקורות מידע לזרם אחד, אבל דורש נתונים ממוינים לפי אותו מפתח. לכן מוסיפים לפניו רכיב Sort. הוא מקבל שני קלטים לכל היותר.
2. Union All: לא דורש מיון, מדביק את הנתונים זה לצד זה ואינו בודק כפילויות. הוא מקבל מספר קלטים כרצוי.
3. דוגמה לאיחוד: Conditional Split מחלק נתונים לפי אזור, ארצות הברית מול אירופה, כי המיסים והמטבע שונים. אחרי הטיפול הנפרד מאחדים הכול בחזרה לזרם אחד עם Merge או Union All.
4. Multicast: הפוך מהם. מקבל צינור אחד ומשכפל אותו לכמה יעדים.
מתי משתמשים ב-Multicast
- שליחת אותו מידע לכמה יעדים.
- חישובים או אגרגציות שונות על אותו מידע.
- דרישת רגולטור או מחוקק להפריד מקורות מידע לאחסונים או קבצים שונים.
- אודיטינג וציות.
בממשק
Multicast לא דורש קונפיגורציה. מחברים אליו יעד, ובכל פעם שמוסיפים יעד נוסף מופיע חץ כחול חדש שמשכפל את אותו מידע. בדוגמה היעדים לא מוגדרים, ורק מודגם העיקרון.
אחרי ההרצאה אפשר לבחור בין Merge, Union All ו-Multicast לפי הצורך באיחוד נתונים או בפיזורם. דוגמאות ל-Union All ו-Merge בהרצאות הבאות.
השיעור הבא בקורס: הסבר על Data Warehouse

פרקי ההרצאה: הסבר על Multicast ב-SSIS

  1. 00:00

    הכרת Merge, Union ו-Multicast

  2. 00:41

    Merge ודרישת המיון עם Sort

  3. 01:20

    Union All ללא מיון

  4. 01:55

    מספר הקלטים ב-Merge מול Union All

  5. 02:32

    פיצול נתונים לפי אזור גיאוגרפי

תמלול ההרצאה: הסבר על Multicast ב-SSIS

הטקסט המלא של הדקות הראשונות בהרצאה «הסבר על Multicast ב-SSIS» בקורס הווידאו של PracticU – כתוביות בעברית עם זמן התחלה לכל פסקה. כך תוכלו לקרוא ולחפש את הנושאים לפני שמתחילים ללמוד.

  1. 00:02

    בדוגמה הבאה אנחנו נכיר שלושה רכיבים רת"מ די זהה עם כמה ניואנסים קטנים ביניהם. מרג' אנד יוניון, קונדישיונל ספירט, ראינו אותו בשיעורים הקודמים, ומולטי-קאסטינג. מרג' ויוניון זה היכולת שלי לקבל מקורות מידע שונים ולאחד אותם, לבצע עליהם מרג'ינג על מנת להוציא אותם כאינפוט אחד.

  2. 00:26

    אני יכול לקלוט מקורות מידע מדאטאבייסים שונים, לקלוט מקורות מידע מקבצים משונים ולאחד אותם לתוך משפך אחד לתוך Destination 1. מה ההבדל בכל זאת בין המרג' ובין ה-Union מאחר ושניהם מבצעים את אותה מטלה?

  3. 00:44

    כאשר אנחנו משתמשים במרג' אנחנו חייבים להשתמש בנתונים שהם ממויינים. אשר על כן, טרם קריאת הקומפוננטה של המרג' חייבים לקרוא לקומפוננטה נוספת, קומפוננטה שנקראת Sort, שיודעת לקבל את הנתונים ולמיין אותם על פי עמודה מסוימת.

  4. 01:06

    רק כאשר מקורות המידע שלי עברו מיון והם ממוינים על פי אותו key, רק אז אני יכול לקרוא לאותה יחידת מרג' על מנת לייבא אותם לתוך התוכנית עצמה.

  5. 01:20

    נקודה נוספת שמאפיינת, בהיבט הזה אז Union שונה, מאחר ו-Union does not need sorting, לא צריך לבצע עליהם מיון, אלא ניתן לחבר אותם והוא מדביק אותם אחד לצד השני, ולכן המשמעות שלו זה Union לקבל אותם ולחבר אותם.

  6. 01:41

    הוא לא בודק כאן בעצם האם מדובר ביתירות, האם יש כאן שורה שמגיעה משתי מקורות שונים, אלא פשוט לוקח את פיסות המידע מהמקורות השונים ומדביק אותם ביחד. נקודה נוספת מאוד מאוד מעניינת, שגם הופכת יתרון גדול ל-Union לעומת מרג', שמרג' יודע לקבל רק שני אינפוטים אליו.

  7. 02:03

    לעומת זאת Union-All יודע לעבוד עם מספר אינפוטים ככל שנדרש. ניתן להוסיף עוד ועוד אינפוטים ברגע שזה Union-All.

  8. 02:14

    כלומר, Union-All can merge several inputs, יכול לחבר ביניהם, לעומת זאת מרג' יכול לעבוד רק עם שני אינפוטים מקסימום בלבד. אלו ההבדלים ביניהם ואנחנו תכף נראה כיצד אנחנו מיישמים זאת.

  9. 02:28

    בדוגמה שמוצגת כאן לפנינו אנחנו על ידי conditional split מחלקים את המידע לפי אזורים פילוח אזור גיאוגרפי שונה. U.S. data לעומת E.U. data, אירופה לעומת ארצות הברית מידע אחר כי בכל אחד מהם העלויות המיסים הן שונות, המטבע הוא שונה, ההמרה ביניהם הם שונים ולכן אנחנו מבצעים את המניפולציות שונות,

  10. 02:56

    אולם בסופו של דבר אנחנו רוצים לקבל את כל המידע ולאחד אותו לתוך משפך אחד על מנת לקלוט אותו לתוך המערכת, ואת הדבר הזה אנחנו מבצעים

לקורס המלא: קורס SSIS אונליין

ההרצאה הקודמת: לולאת Foreach ב-SSIS - חלק 5

ההרצאה הבאה: הסבר על Data Warehouse

קורסים נוספים במסלול

  • קורס DBA אפליקטיבי - שפת SQL למתחילים
  • קורס NoSQL - MongoDB
  • קורס BI - ניתוח מסדי נתונים - Qlik Sense
  • קורס Power BI