مرکز راه‌کارهای اطلاعاتی هوشمند
Intelligent Information Solutions Center

دانشگاه صنعتی شریف
فا | en
صفحه اصلی   >   پروژه‌ها و خدمات   >   انبارداده‌ی شهرداری تهران

انبارداده‌ی شهرداری تهران

معرفی پروژه

هر سازمان کارآمد نياز به سامانه‌های تصميم‌یاری برای کنترل وضعيت موجود و برنامه‌ريزی آينده دارد. با کمک چنين سامانه‌های، سازمان شاخص‌های کليدی مختلف را رصد کرده و اطلاعات لازم را درباره وضعيت موجود دريافت می‌کند.

شهرداری تهران برای ارائه خدمات مختلف، دارای سامانه‌های اطلاعاتی متنوعی است. بسياری از شاخص‌های کارايی شهرداری تهران از طريق داده‌های اين سامانه‌ها قابل حصول است. به همين دليل در اين پروژه يک انبارداده برای جمع‌آوری و تمرکز اطلاعات مختلف طراحی شده است. در اين پروژه يک زيرساخت نرم‌افزاری برای رسيدن به يک سامانه‌ی تصميم‌یار از طريق ساخت انبارداده و سامانه‌ی هوش تجاری توليد شده است.

هدف از انجام این پروژه، گردآوری داده‌ها از سامانه‌های مختلف شهرداری و نمایش آن‌ها در قالبی مناسب برای پشتیبانی از تصمیمات مدیریتی است.

شناسنامه‌ی پروژه

فرآیند تولید و توسعه‌ی این پروژه به سفارش مرکز فناوری اطلاعات شهرداری تهران، در سال ۱۳۹۱ شروع شد و در سال ۱۳۹۳ پایان یافت. فعالیت‌های انجام‌شده در این پروژه شامل ارائه‌ی خدمات مشاوره‌ای، طراحی، آموزش، نصب و راه‌اندازی انبارداده است.

برای تولید سامانه‌ی انبارداده‌ی شهرداری تهران، از مجموعه ابزارهای هوش تجاری شرکت Microsoft استفاده شده است. تمرکز اصلی این پروژه بر ایجاد یک انبار‌داده و تسهیل امر گزارش‌گیری از زیر سامانه‌های تشکیل دهنده‌ شهرداری تهران است. این پروژه شامل ۲۴ زیر‌سامانه‌ی اطلاعاتی است که مراحل مختلف عملیاتی شدن هریک، از جمله شناخت حوزه‌ی هر زیرسامانه، طراحی مکعب‌های انبارداده، پیاده‌سازی و تست هر بخش حاکی از ابعاد عظیم کار اجرایی صورت گرفته، است.

فرآیند تولید و توسعه‌ی پروژه

در ذیل هر زیرسامانه‌ی اطلاعاتی در این پروژه، تعدادی پایگاه‌داده‌ی مبدأ وجود دارد که هریک شامل داده‌های مرتبط با زیرمجوعه‌ای خاص از موضوعات کل سازمان است. به بیانی دیگر، سامانه‌ی انبارداده‌ی شهرداری خود از چندین مؤلفه تشکیل شده است که هر یک منابع خود را داشته و حول موضوع خاصی بنا شده است. فرآیندی که برای توسعه‌ی هریک از این بخش‌ها طی شده، به شرح زیر است:

  • تحلیل و شناسایی شاخص‌ها بر اساس نیازمندی کاربران، با هدف استخراج ابعاد اطلاعاتی هر شاخص
  • تحلیل نحوه‌ی نگاشت هر شاخص به پایگاه‌داده‌های سامانه‌های اطلاعاتی متناظر
  • طراحی و پیاده‌سازی مکعب‌های داده‌ای با هدف محاسبه‌ کارآمد شاخص‌ها و انجام عملیات بر روی داده‌های تجمیع‌شده
  • طراحی فرآیند ETL با هدف استخراج داده از پایگاه‌داده‌های موجود، تبدیل و تغییر شکل داده‌ها، پاکسازی، مناسب‌سازی، یکسان‌سازی نمایش داده‌های مرتبط، تجمیع و انتقال آن‌ها به انبار‌داده
  • طراحی گزارش برای کاربران و مدیران سامانه

 

سامانه‌های مبدأ

در سامانه‌های هوش تجاری، منابع اولیه‌ی داده اساس کار هستند. با توجه به اینکه در این سامانه‌ها هدف، استخراج و پردازش داده و نمایش آن در قالب مناسب برای تصمیم‌گیری‌های مدیریتی است، با افزایش تعداد منابع، حجم و تنوع اطلاعات اولیه، فرآیند استخراج و تجمیع داده‌ها پیچیده‌تر می‌شود.

شهرداری تهران یکی از بزرگ‌ترین سازمان‌های کشور است. واحدهای خدماتی و مدیریتی متعددی زیرمجموعه‌ی این سازمان هستند که به تبع آن، داده‌ها در حجمی وسیع و در سامانه‌هایی مجزا ذخیره شده‌اند. بنابراین پروژه‌ی انبارداده‌ی شهرداری تهران پروژه‌ای با مقیاس بزرگ است که برای کار بر روی داده‌هایی از مرتبه‌ی حجمی ۱۰۰ گیگابایت طراحی و پیاده‌سازی شده است.

فرآیند استخراج، تبدیل و بارگذاری داده‌ها

داده‌ها در یک سامانه‌ی هوش تجاری در مخازن مختلف و با قالب‌های متفاوتی قرار گرفته‌اند. ممکن است برخی از داده‌ها به دلایل متفاوتی نظیر خطای کاربری دارای نقص باشند. ممکن است برخی داده‌ها با یکدیگر در تناقض باشند و یا داده‌های یکسان و افزونه‌ای داشته باشیم. بنابراین لازم است در یک فرآیند طراحی‌شده و مشخص، داده‌ها از مخازن خود جمع‌آوری شوند، داده‌ی ناقص پاک‌سازی شده و در قالب‌های یکسان قرار داده شوند تا آماده‌ی بارگذاری در انبارداده گردند. این فرآیند با نام ETL که مخفف Extract, Transform, Load است شناخته می‌شود.

در سامانه‌ی انبارداده‌ی شهرداری تهران نیز فرآیندهای ETL متعددی طراحی و پیاده‌سازی شده‌اند. هریک از این فرآیندها، داده‌های موردنظر را از مخزن مرتبط استخراج کرده و پس از پاک‌سازی در انبارداده ذخیره می‌کند. با توجه به حجم بالای داده‌ها در سامانه‌های شهرداری، فرآیند‌های ETL معمولا از لحاظ زمانی سنگین بوده و به همین دلیل برنامه‌ریزی شده‌اند تا به صورت دوره‌ای در زمان‌های خاصی اجرا شده و انبارداده را بروزرسانی کنند.

مکعب‌های داده

در انبارداده با حجم وسیعی از داده‌ها مواجه هستیم. معیارها و شاخص‌های اندازه‌گیری در قالب جداول حقیقت و صفات آن‌ها در جدول‌های ابعاد ذخیره می‌شوند. با این وضعیت پیچیده، تحلیل داده‌ها بسیار پیچیده خواهد بود. به همین دلیل از سرورهای OLAP استفاده می‌شود که بهینه‌سازی شده‌اند تا این حجم از داده‌ها را با مجموعه‌ای از عملگرهای مخصوص به گونه‌ای پردازش کنند که مناسب تحلیل‌های کسب‌وکاری و مدیریتی شوند.

نمایش داده‌ها در سرورهای OLAP به شکل مکعب‌هایی موسوم به مکعب‌ داده است. در این نمایش، داده‌ها در سلول‌های یک مکعب فرضی قرار می‌گیرند و ابعاد مکعب به صفات داده‌ها نگاشت می‌شود. در چنین حالتی امکان انجام اعمالی نظیر Drill-Down، Roll-Up، Slice و Pivot برای کاربران فراهم می‌شود تا با چرخش و برش این مکعب، داده‌هایی که مدنظرشان است را با جزئیات یا به صورت تجمیع‌شده ببینند. در واقع اطلاعات گزارشات سامانه و نمودارهایی که توضیح داده شد حاصل پردازش این مکعب‌ها است.

داشبورد مدیریتی

اصلی‌ترین هدف سامانه‌های هوش تجاری، نمایش اطلاعات در قالب‌هایی مناسب برای کمک به تصمیم‌گیری مدیران سازمان است. مهم‌ترین نکته‌ای که در بحث نمایش اطلاعات مطرح می‌شود این است که با کمترین پیچیدگی، بیشترین حجم اطلاعات مفید به مخاطب نمایش داده شود. به همین منظور در اکثر سامانه‌های اطلاعاتی، داشبوردهای مدیریتی طراحی و پیاده‌سازی می‌شوند که در آن‌ها داده‌ها و اطلاعات موجود در سامانه در قالب گزارش‌های چکیده و انواع مختلفی از نمودارها به نمایش درآمده است.

سامانه‌ی انبارداده‌ی شهرداری تهران شامل یک داشبورد مدیریتی است که در آن بالغ بر ۱۰۰ ابرگزارش (Hyper-Report) با قابلیت نمایش سلسله‌مراتبی اطلاعات برای مدیران سازمان تهیه شده است.

گزارش‌گیری پویا

علاوه بر وجود گزارشات متعدد از پیش تعریف شده در سامانه، یکی از قابلیت‌های کاربردی پیاده سازی شده در این پروژه، توانایی گزارش‌سازی پویا برحسب نیاز‌های لحظه‌ای کاربران سیستم است. از آنجا که هر مدیر از نقطه نظر خاص خود به اطلاعات موجود در سامانه می‌نگرد، بدیهی است یک شکل گزارش از پیش تعریف شده برای همه‌ی نیاز‌ها کافی نیست.

با تمهیدات اندیشیده شده در این پروژه گزارش‌سازی با قابلیت اتصال به انبار‌داده‌های مختلف سامانه طراحی و پیاده‌سازی شده که با استفاده از آن کاربر نهایی می‌تواند شاخص ها را به دلخواه خود انتخاب کرده و در قالبی درخور نتایج را مشاهده کند. این بخش قابلیت‌هایی مانند ذخیره گزارشات تولید شده، تغییر واحد‌ها، ترکیب معیار‌ها، تغییر شکل نمودار‌ و نمایش‌ پیش فرض آنها در صفحه‌ی کاربری را نیز دارد.