کرمانشاه)

چکیده

داده كاوی تلاشی سیستمی برای استخراج دانش از انبوه داده‌های موجود است. داده كاوی به كمك مجموعه‌ای از روش‌های آماری و مدل‌سازی، می‌تواند الگوها و روابط پنهان موجود در پایگاه‌های داده را تشخیص دهد. با توجه به اینکه هر 7 سال یکبار کنتورهای شرکت ملی گاز بایستی از لحاظ سلامت کنترل شوند و این پروژه بدلیل حضور نیروی انسانی در محل و تست آزمایش کنتور هم از لحاظ زمانی و هم مالی بسیار پرهزینه می­باشد. در این پژوهش با اهداف کاربردی، سعی بر آن شده است که با ارائه یک روش ترکیبی از شبکه عصبی و درخت تصمیم، فرایند داده کاوی را با هدف تشخیص کنتورهای خراب از پایگاه داده در شرکت ملی گاز اجرا و هزینه­ های این پروژه را بطور چشم گیری کاهش دهد. بطور کلی پروژه حاظر سعی در تشخیص کنتورهای با احتمال بالای خرابی از پایگاه داده شرکت ملی گاز را دارد. در طی فرایند تحقیق، شبکه عصبی و درخت تصمیم ابتدا بصورت جداگانه هر روش تست و اجرا شده ­اند. سپس به بررسی ترکیب­های مختلف از این روش­ها پرداخته شده که نتیجه حاصل شده حاکی از این است که با ترکیب شبکه عصبی و درخت تصمیم گیری احتمال پیش‌بینی کنتور خراب به 93.43% (در مقایسه با مقادیر واقعی) است، بنابراین مقایسه بین روش های مورد مطالعه در این پژوهش نشان داد که روش ترکیب الگوریتم ها دقت بیشتر، احتمال پیش بینی بالاتری داشته است.

کلمات کلیدی: داده کاوی، درخت تصمیم گیری، شبکه عصبی، ترکیب روش­ها، نرم افزار Rapid miner

.

فهرست مطالب

     عنوان                                                                                                                                                                             صفحه

فصل اول: مقدمه

1-1 بیان مسأله. 16

1-2 اهمیت و ضرورت تحقیق.. 17

1-3 جنبه نوآوری تحقیق.. 17

1-4 اهداف تحقیق.. 19

1-5 سوالات پروژه. 19

1-6 فرضیه‌ها 20

1-7 راهکار ارائه شده. 20

1-8 ساختار پایان‌نامه. 24

فصل دوم: مروری بر ادبیات و پیشینه تحقیق

2-1 داده کاوی چیست؟. 49

2-2 تعاریف متنوعی از داده کاوی.. 50

2-3 آیا داده کاوی سودمند است؟. 51

2-4 آمار و داده کاوی.. 52

2-5 پیچیدگی و هزینه زمانی.. 54

2-6 محرمانگی داده ها 54

2-7 محدودیت‌های داده كاوی.. 55

2-8 مراحل داده کاوی.. 55

2-9 وظایف و تكنیک های داده كاوی.. 56

2-9-1 کلاس‌بندی. 56

2-9-2 تخمین. 57

2-9-3 پیش‌بینی. 57

2-9-4 قواعد وابستگی یا گروه‌بندی پیوستگی‌ها 57

2-9-5 خوشه‌بندی. 57

2-9-6 نمایه‌سازی توصیفی. 58

2-10 معماری سیستم مبتنی بر داده كاوی.. 58

2-11 روش‌های داده كاوی.. 59

2-12 درخت تصمیم‌گیری.. 59

2-13 نقاط قوت درخت تصمیم‌گیری.. 61

2-14 معایب درختان تصمیم. 61

2-15 آنتروپی.. 62

2-16 هرس درخت تصمیم تولیدشده. 64

2-17 شبکه عصبی مصنوعی.. 65

2-18 ماتریس تداخل.. 69

2-19 واسط K-Fold Cross Validation.. 72

2-20 قوانین انجمنی.. 74

2-21 مرور ادبیات و سوابق مربوطه. 75

2-22 خلاصه فصل.. 76

فصل سوم فرایند داده کاوی، معرفی و ارزیابی الگوریتم ها

3-1 معرفی نرم افزار Rapid Miner 5: 61

3-2 واسط کاربری Rapid Miner 5. 61

3-3 نحوه کار با Rapid Miner 5. 62

3-3-1 انبارهها 62

3-3-2 عملگرها 63

3-3-3 تب پردازش.. 64

3-3-4 تب پارامترها 64

3-3-5 تب مشکلات.. 64

3-3-6 تب کمک.. 65

3-3-7 تب توضیحات و تب xml. 65

3-4 مقدمه. 66

3-5 متدولوژی CRISP-DM… 66

3-6 شروع داده کاوی.. 67

3-6-1 درک کسب و کار 67

3-6-2 درک داده ها 67

3-6-3 آماده سازی داده ها 68

3-6-3-1 تولید داده های آموزشی. 69

3-6-3-2 تولید داده های تست و ارزیابی. 69

3-6-4 ساخت مدل. 70

3-6-4-1 افزودن انبارهای داده به نرم افزار 70

3-6-4-2 درخت تصمیم. 71

3-6-4-3 اعمال مدل درخت تصمیم و تست و ارزیابی کار 75

3-6-4-4 شبکه عصبی. 79

3-6-4-5 روش های ترکیبی. 81

3-6-5 نتیجه گیری. 82

فصل چهارم: نتیجه‌گیری و راهکار آینده

4-1 نتیجه گیری.. 84

4-2 راهکار آینده. 84

واژه‌نامه فارسی به انگلیسی.. 85

فهرست شکل­ها

شکل 1- مدل فرایند CRISP-DM برای کاربردهای داده کاوی]9[ 21

شکل (2-1): معماری سیستم مبتنی بر داده كاوی [42]. 59

شکل (2-2): تغییر میزان آنتروپی را برای مجموعه‌ای با دو کلاس… 63

شکل (2-3): توابع نرمال سازی [40] 67

نمودار(2-1): تقریب خطی.. 73

شکل(3-1): صفحه نخست نرم افزار Rapid Miner 5. 62

شکل 3-2: خروجی شیها 63

شکل 3-3: خروجی قسمت مدل (شبکه عصبی) 63

شکل 3-4: خروجی قسمت اطلاعات.. 64

شکل (4-1): متدولوژی CRISP-DM… 67

شکل (4-2): نحوه افزودن فایل دادهای به برنامه. 70

شکل (4-3): نحوه انتخاب نوع سطر. 71

شکل(4-4): آدرس عملگر درخت تصمیم. 71

شکل(4-5): آدرس عملگر Set Role. 72

شکل(4-6): آدرس عملگر Select Attribute. 72

شکل(4-7): آدرس عملگر Discretize by Frequency. 72

شکل(4-8): نحوه اتصال عملگرها 73

شکل(4-9): درخت حاصل از داده های آموزشی با تابع هدف نسبت بهره اطلاعاتی.. 74

شکل(4-10): درخت حاصل از داده های آموزشی با تابع هدف آنتروپی.. 75

شکل (4-11): درخت حاصل از داده های آموزشی با تابع هدف پراکندگی جمعیت(جینی) 75

شکل(4-12): آدرس عملگر Apply model. 76

شکل(4-13): اتصالات تب پردازش در مرحله اعمال مدل. 76

نمودار (4-1): پیشبینی حاصل از الگوهای درخت تصمیم با تابع هدف نسبت بهره اطلاعاتی.. 77

نمودار(4-2): پیشبینی حاصل از الگوهای درخت تصمیم با تابع هدف آنتروپی.. 77

نمودار(4-3): پیشبینی حاصل از الگوهای درخت تصمیم با تابع هدف پراکندگی جمعیت(جینی) 78

شکل (4-15): اتصالات عملگرها جهت تشکیل مدل شبکه عصبی.. 79

شکل(4-16): ساختار شبکه عصبی.. 80

نمودار (4-4): نتیجه تشخیص شبکه عصبی.. 80

نمودار(4-6): نتایج حاصل از اجرای شبکه عصبی بر داده های خرابی پیشبینی شده توسط درخت تصمیم   82

فهرست جداول

جدول (2-1): مقایسه آنالیز آماری و داده کاوی ………………………………………………………………….. 53

جدول (2-2) کلاس های پیش بینی . ………………………………………………………………………………69

جدول (2-3): ماتریس تداخل…………………………………………………………………………………………… 70

جدول(2-4): مجموعه اعتبار سنجی…………………………………………………………………………………… 74

جدول) 3-1(: داده های مورد استفاده در تشخیص کنتورخراب……………………………………………….. 68

جدول (4-3): نتایج حاصل از ارزیابی نتایج درختهای تصمیم ایجاد شده………………………………… 78

جدول (4-3): مقادیر پارامترهای عملگر شبکه عصبی………………………………………………………….. 79

فصل اول

کلیات تحقیق

این فصل به تعریف مسأله و راهکار کلی می‌پردازد. در ابتدا سعی می‌شود که مسأله تعریف شود. سپس اهمیت و ضرورت مسأله، اهداف و فرضیه‌ها شرح داده می‌شود و در نهایت ساختار این پژوهش، توضیح داده می‌شود.

1-1 بیان مسأله

ظرفیت ذخیره سازی داده های دیجیتال در سراسر جهان هر نه ماه برای حداقل یک دهه دو برابر شده است، در صورتی که در دو برابر مدت مشابه طبق پیش بینی قانون مور[1] قدرت محاسباتی و سرعت رشد می­ کند]1[. داده کاوی نشان دهنده یک گام در فرایند کشف دانش در پایگاه داده ­ها[2] می­باشد]2[ که میتوان آن را یک نیاز اساسی در دنیای امروز دانست. بنا بر اعلام دانشگاه MIT امروزه مرز و محدودیتی برای دانش داده کاوی در نظر گرفته نشده و دامنه کاربرد آن را از اعماق اقبانوس­ها تا بی کران فضا می­دانند]3[. تلاش برای الگوهای موجود در داده ­ها مدت زمان طولانی در بسیاری از زمینه ها، از جمله آمار، الگوشناسی[3] ، و تجزیه و تحلیل داده ­های اکتشافی مورد مطالعه قرار گرفته شده است]4[.

داده کاوی به عنوان یک ابزار مهم برای کسب دانش از پایگاه داده های پدید آمده است]5[ از این رو می­توان به اهمیت الگوریتم­های داده کاوی پی برد که شبکه­ های عصبی و درخت تصمیم از جمله­ این الگوریتم­ها می­باشد. درخت تصمیم یک راه طبیعی برای ارائه یک فرایند تصمیم گیری می­باشد، چرا که درک آنها برای هر کسی ساده و آسان است]6[ همچنین محبوبیت شبکه­ های عصبی با دست اندرکاران داده کاوی در حال افزایش چشم گیر است زیرا آنها خود را، از طریق مقایسه­ قدرت پیش بینی خود با تکنیک­های آماری با بهره گرفتن از مجموعه داده ­های واقعی اثبات کرده ­اند]7[. تحقیقات جدید نمایانگر این است که الگوریتم­های ترکیبی دقت بیشتر و عملکرد بهتری را به نسبت به استفاده­ی مجزا و مستقل آنها در داده ­کاوی از خود نشان می­دهند]8[.

با توجه به آنکه تشخیص کنتورهای خراب توسط خود شرکت گاز با بهره گرفتن از داده ­های موجود مقدور نمی ­باشد، این شرکت برای تعویض و شناسایی کنتورهای خراب میبایست مأمورینی داشته باشد که در محل حضور داشته و بصورت فیزیکی اقدام به تست کنتور نماید تا اگر احتمالا خراب بود اقدامات لازم را انجام دهند که با توجه به وجود تعداد زیاد مشترکین این عمل یک فرایند زمان بر، پرهزینه و سخت خواهد بود. نوع تحقیق حاضر براساس هدف طراحی