تکامل لوله های اطلاعات هوشمند

پتانسیل هوش مصنوعی (AI) و یادگیری ماشین (ML) در توانایی آن برای به دست آوردن و هدایت منابع جدید مشتریان، محصولات، خدمات، عملیات، محیط زیست و ارزش اجتماعی تقریباً نامحدود به نظر می رسد. اگر سازمان شما قرار است در اقتصاد آینده رقابت کند، هوش مصنوعی باید هسته اصلی تجارت شما باشد.

مطالعه ای که توسط Kearney با عنوان “تاثیر تجزیه و تحلیل در سال 2020” انجام شد، به سودهای زیان آور و پیامدهای تجاری برای سازمان هایی اشاره می کند که به دنبال تسریع در علم داده (AI / ML) و سرمایه گذاری های مدیریت داده هستند:

• نقشه برداران اگر به اندازه رهبران موثر باشند، می توانند سود را تا 20 درصد بهبود بخشند
• اگر فالوورها به اندازه رهبران موثر باشند، می توانند سود را تا 55 درصد افزایش دهند
• اگر عقب مانده ها به اندازه رهبران موثر باشند، می توانند سود را تا 81 درصد بهبود بخشند

تأثیرات تجاری، عملیاتی و اجتماعی می‌تواند شگفت‌انگیز باشد و چالش‌های سازمانی مهم – داده‌ها را حذف کند. اندرو نگ، پدرخوانده هوش مصنوعی، به موانع مدیریت داده ها و داده ها در توانمندسازی سازمان ها و جامعه در تحقق پتانسیل هوش مصنوعی و ML توجه نکرده است:

“الگوها و کد برای بسیاری از برنامه ها مشکلات اساسی هستند که می توان آنها را حل کرد. اکنون که مدل به نقطه خاصی رسیده است، ما باید داده ها را نیز کار کنیم.” – اندرو نگ

داده ها در قلب آموزش هوش مصنوعی و ML قرار دارند. و داده‌های باکیفیت و قابل اعتماد که از طریق خطوط لوله با عملکرد بالا و مقیاس‌پذیر تنظیم شده‌اند به این معنی است که هوش مصنوعی می‌تواند این مشاغل و عملیات را جذاب‌تر کند. همانطور که یک قلب سالم به اکسیژن و جریان خون قابل اعتماد نیاز دارد، بنابراین، پاکسازی اطلاعات مداوم، دقیق، غنی و قابل اعتماد برای موتور AI / ML ضروری است.

به عنوان مثال، یک CIO تیمی متشکل از 500 مهندس داده دارد که بیش از 15000 شغل استخراج، تبدیل و بارگذاری (ETL) را مدیریت می‌کنند که مسئول اکتساب، مهاجرت، جمع‌آوری، استانداردسازی و استقرار داده‌ها در 100 مخزن شیء تخصصی (داده‌ها، بازارها) هستند. ، انبارهای داده، دریاچه های داده)، دریاچه های داده. آنها این وظایف را در سیستم‌های عامل سازمان‌ها و مشتریانی که تحت توافق‌نامه‌های سخت‌گیرانه سطح خدمات (SLA) قرار دارند، انجام می‌دهند تا از تعداد روزافزون کاربران داده‌های متنوع خود پشتیبانی کنند. به نظر می رسد که روب گلدبرگ قطعا باید یک معمار داده شود (شکل 1).

کاهش معماری شکننده اسپاگتی پروژه‌های استاتیک ETL یک هدف خاص برای جابجایی، تمیز کردن، تراز کردن و تبدیل داده‌ها، مانع از «زمان برای درک» مورد نیاز سازمان‌ها برای بهره‌برداری از ویژگی‌های اقتصادی منحصربه‌فرد منابع مبتنی بر داده می‌شود. اقتصاد.

وقوع لوله های داده هوشمند

هدف خطوط لوله داده، خودکارسازی و مقیاس‌بندی جمع‌آوری و تکرار، تبدیل، حرکت و ادغام داده‌ها است. استراتژی‌های خط لوله داده که به‌درستی ساخته شده‌اند می‌توانند فرآیندهای درگیر در جمع‌آوری، تمیز کردن، تبدیل، بهبود و انتقال داده‌ها به سیستم‌ها و برنامه‌های پایین دستی را تسریع و خودکار کنند. همانطور که حجم، تنوع و سرعت داده ها همچنان در حال رشد است، تقاضا برای خطوط لوله داده مقیاس پذیر در محیط های ابری و ترکیبی به طور فزاینده ای برای عملیات تجاری مهم می شود.

خط لوله داده به مجموعه ای از فعالیت های پردازش داده اطلاق می شود که منطق عملیاتی و تجاری را برای انجام جمع آوری، تبدیل و بارگذاری پیشرفته داده ها ترکیب می کند. خط لوله می تواند طبق برنامه زمان بندی، در زمان واقعی (رله) اجرا شود یا توسط قوانین یا شرایط از پیش تعریف شده فعال شود.

علاوه بر این، منطق و الگوریتم ها را می توان به عنوان لوله داده برای ایجاد لوله های داده “هوشمند” ایجاد کرد. خطوط لوله هوشمند یک دارایی اقتصادی قابل استفاده مجدد و مقیاس پذیر است که می تواند برای سیستم های منبع تخصص داشته باشد و تبدیل داده های مورد نیاز برای پشتیبانی از داده های منحصر به فرد و الزامات تحلیلی برای یک سیستم یا برنامه هدف را انجام دهد.

همانطور که یادگیری ماشین و AutoML گسترده تر می شود، خطوط لوله داده هوشمندتر می شوند. لوله‌های داده می‌توانند داده‌ها را بین ماژول‌های پیشرفته افزایش داده و ترانسفورماتورها جابه‌جا کنند، جایی که شبکه‌های عصبی و سیستم‌های یادگیری ماشین می‌توانند تبدیل داده‌ها و بهبود داده‌های پیشرفته را ایجاد کنند. این شامل تقسیم بندی، تجزیه و تحلیل رگرسیون، گروه بندی، و نمایه سازی پیشرفته و امتیازات روند است.

در نهایت، افراد می توانند هوش مصنوعی را در چنین خطوط لوله داده ای ادغام کنند، جایی که می توانند به طور مداوم بر اساس سیستم منبع، نیازهای تبدیل داده ها و پیشرفت ها، و نیازهای تجاری و عملیاتی سیستم و برنامه های هدف بیاموزند و تطبیق دهند.

به عنوان مثال، خط لوله داده های مراقبت های بهداشتی می تواند مجموعه ای از کدهای تشخیصی مرتبط با مراقبت های بهداشتی (DRGs) را تجزیه و تحلیل کند تا از سازگاری و یکپارچگی ارسال های DRG اطمینان حاصل کند و با انتقال داده های DRG توسط منبع داده، تقلب را شناسایی کند. سیستم تجزیه و تحلیل

شناخت ارزش تجاری

مدیران کلان داده و تحلیلگران داده برای افشای ارزش تجاری داده های خود به چالش کشیده می شوند – برای استفاده از داده ها با مشاغل برای ارائه تأثیر مالی کمی.

توانایی دریافت اطلاعات با کیفیت بالا و قابل اعتماد به مصرف کنندگان با اطلاعات مناسب در زمان مناسب برای تسهیل تصمیم گیری های دقیق تر و به موقع، یک تمایز کلیدی برای شرکت های امروزی با داده های فشرده خواهد بود. سیستم روب گلدبرگ از اسکریپت‌های ELT و کنتراست، جمع‌آوری داده‌های تحلیلی پیشرفته مانع از توانایی سازمان‌ها برای دستیابی به آن هدف می‌شود.

درباره لوله داده هوشمند بیشتر بدانید خط لوله اطلاعات سازمانی مدرن (کتاب الکترونیکی) توسط Dell Technologies در اینجا.

این محتوا توسط Dell Technologies تولید شده است. این توسط تحریریه MIT Technology Review نوشته نشده است.