فصل اول: تاریخچه و تعاریف مقدماتی

1 – 1- رگرسیون خطی چند گانه ……………………………………………………………………………………………………………………. 2

            1 – 1 – 1- برآورد حداقل مربعات معمولی   ……………………………………………………………………………………….3

1 – 2- هم خطی چند گانه ……………………………………………………………………………………………………………………………. 4

1 – 2 – 1- تعریف هم خطی …………………………………………………………………………………………………………….. 5

1 – 2 – 2 – تعریف هم خطی در رگرسیون ……………………………………………………………………………………… 5

1 – 2 – 3- آثار هم خطی چند گانه …………………………………………………………………………………………………… 6

1  – 2 – 4- تصحیح هم خطی چند گانه …………………………………………………………………………………………….. 8

1 – 3- استفاده از روش های انقباضی در تصحیح هم خطی چند گانه ………………………………………………………….. 8

1 – 3 – 1- رگرسیون ریج……………………………………………………………………………………………………………………. 9

1 – 3 – 1 – 1- برآوردگر ریج معمولی ……………………………………………………………………………………10

1 – 3 – 1 – 2 – ویژگی های برآوردگر  …………………. ………….. ……………………………………..13

1– 3 – 1 – 3 -جواب برآوردگر ریج در یک طرح متعامد ………. …………………………………………………14

1 – 3 – 2 – برآوردگر لیو ………………………………………………………………………………………………………………………….. 15

1 – 4 – آماره  ………………………………………………………………………………………………………………………………………….17

1 – 5- ضرب هادمارد …………………………………………………………………………………………………………………………………………… 18

       1-5-1- ویژگی های ضرب هادمارد ………………………………………………………………………………………………………………. 18

 

فصل دوم: بهینه کردن برآوردگرها در رگرسیون ریج

2 – 1- روش های بدست آوردن پارامتر ریج …………………………………………………………………………………………………………..21

2 – 1 – 1- روش نموداری برای بدست آوردن پارامتر ریج ……………………………………………………………………….. 22

2 – 1 – 2 -روش محاسباتی برای بدست آوردن پارامتر ریج ……………………………………………………………………… 22

2 – 1 – 2 – 1- رگرسیون ریج تعمیم یافته ……………………………………………………………………………………….. 23

2 – 1 – 3 – روش های مختلف برآورد پارامتر ریج …………………………………………………………………………………….. 25

2 – 2 – تعدیل کردن برآوردگرها …………………………………………………………………………………………………………………………… 30

2 – 3 – یک مطالعه شبیه سازی. ………………………………………………………………………………………………………………………….. 31

 

فصل سوم: برآوردگر رگرسیون ریج خطی شده در رگرسیون خطی

3 – 1- ارزیابی بیشتر برآوردگر لیو ……………………………………………………………………………………………………………………….. 41

3 – 1 – 1- ارتباط بین برآوردگر لیو و ریج ………………………………………………………………………………………………..44

3 – 2 – برآوردگر لیو تعمیم یافته ………………………………………………………………………………………………………………………….. 46

3 – 3 – برآوردگر رگرسیون ریج خطی شده ………………………………………………………………………………………………………….. 46

3 – 3 – 1 – نسخه جدید برآوردگر ریج تعمیم یافته براساس  برآوردگر لیو ……………………………………….. 47

3– 3 – 2 – بدست آوردن برآوردگر رگرسیون ریج خطی شده …………………………………………………………………………… 49

3 – 4 – بهینه کردن سه برآوردگر   و  و   در مجموعه های مختلف ………………………………….. 50

            3 – 4 – 1 – بدست آوردن آماره  برای سه برآوردگر …… …………………………………………………………49

 

            3 – 4 – 2- روش بهینه کردن  سه برآوردگر ………………………………………………………………………………………….. 53

 

فصل چهارم: مثال های کاربردی و شبیه سازی

4 – 1 – مثال شبیه سازی …………………………………………………………………………………………………………………………………….. 58

4 – 2 – مثال واقعی ……………………………………………………………………………………………………………………………………………….. 61

 

پیوست

پیوست 1 …………………………………………………………………………………………………. ………………………………………………………………65

پیوست 2 …………………………………………………………………………………………………………………………………………………………………. 70

فهرست منابع و مآخذ ……………………………………………………………………………………………………………………………………………… 80

واژه نامه فارسی به انگلیسی ……………………………………………………………………………………………………………………………………. 83

واژه نامه انگلیسی به فارسی ……………………………………………………………………………………………………………………………………. 87

فهرست جدول ها

جدول 2 – 1-  برآورد شده برآوردگرهای ریج اولیه برای    ………………………………………. …………………34

جدول 2 – 2 –  برآورد شده برآوردگرهای ریج تعدیل شده برای   …………….. ………………………………..35

جدول 2 – 3-  برآورد شده برآوردگرهای ریج اولیه برای   ………………………… …………………………………36

جدول 2 – 4-  برآورد شده برآوردگرهای تعدیل شده برای   ……………………… ………………………………..37

جدول 2 – 5  برآورد شده برآوردگرهای ریج اولیه برای   ………………………. ……………………………………..38

جدول 2 – 6 –  برآورد شده برآوردگرهای تعدیل شده برای   …………………………….. ………………………..39

جدول 4 – 1 -متوسط مقدار  برای برآوردگرهای  ،  ،    و  ……………………………60

جدول 4 – 2–  مقدار  برآوردگرهای  ،  ،  ،    و  ……………………………62

جدول 4 – 3- داده های سیمان هالد ……………………………………………………………………………………………………………………….62

فهرست نمودار ها

شکل 3-1- نمودار   امین مولفه برآوردگرهای ریج و لیو برای  ………………………………………………..45

نمودار 4 – 1 – کارایی بهبود یافته  چهار برآوردگر برای شش مقدار

………………………………………………………………60

چکیده

بررسی  روش های مختلف  برآوردیابی در رگرسیون ریج 

در رگرسیون خطی چندگانه، موضوع هم خطی چندگانه مشکلاتی را برای برآوردگر حداقل مربعات پارامتر  به وجود می آورد. در این پایان نامه، ضمن ارائه این مشکلات، تلاش می شود که برآوردگرهای اریبی مانند برآوردگر حاصل از رگرسیون ریج و یا برآوردگر لیو جایگزین برآوردگرهای حاصل از کمترین مربعات نماییم. این برآوردگرها اغلب دارای یک پارامتر اریبی k یا d هستند. می توان با انتخاب مناسب k یا d  برآوردگری با میانگین مربعات خطای کمتری نسبت به برآوردگر حداقل مربعات بدست آورد. روش های مختلف برآورد کردن پارامتر اریبی در رگرسیون ریج معمولی را ارائه داده و سپس با بهره گرفتن از این روش ها، برآوردگرهای تعدیل یافته جدیدی بدست می آوریم. برآوردگر ریج خطی شده را معرفی کرده و با بهره گرفتن از معیار ، به بهینه کردن این برآوردگر و دو نسخه تعمیم یافته برآوردگر لیو می پردازیم. در پایان به وسیله یک مطالعه شبیه سازی و یک سری داده واقعی، عملکرد برآوردگرهای معرفی شده را با هم مقایسه می کنیم.

Abstract

A Survey on Different Estimation Methods in the Ridge Regression

 

In Multiple linear Regression models, multicollinearity caused some problems for least squares estimator of  the model’s parameter. In this thesis, we present these problems. moreover, we attempted to replace biased estimators which are obtained from ridge regression or liu estimation process by the estimators which are obtained by least squares method. It is essential to note that these estimators have a biased parameter, k or d. by an appropriate selection of  k or d, we can find an estimator with minimum mean square error property relative to ordinary least squares estimator. We also present methods of estimating biased parameter in ordinary ridge regression and than from these methods, new modify estimators are obtained. we introduce a Linearized Ridge Regression estimator and using PRESS criterion, we optimaize this estimator and also two versions of Generalized Liu estimators. At last, using a simulation study and a real set of data, we compare performance of given estimators.

تاریخچه و تعاریف مقدماتی

در این فصل به تعاریف و مقدمات لازم از جمله مدل رگرسیونی چند گانه، مفهوم هم خطی چند گانه، رگرسیون ریج و غیره که در فصل های بعد به آن نیاز داریم، ­خواهیم پرداخت.

1-1– رگرسیون خطی چندگانه

تحلیل رگرسیون فن و تکنیکی آماری برای بررسی و به مدل درآوردن ارتباط بین متغیرها است. واژه رگرسیون اولین بار توسط فرانسیس گالتون در سال 1877 معرفی شد. رگرسیون تقریباً در هر زمینه‌ای از جمله مهندسی، فیزیک ، اقتصاد، مدیریت، علوم زیستی، علوم اجتماعی و غیره کاربرد دارد. هدف این است كه رابطه بین یكی از متغیرها (متغیر پاسخ)، با متغیرهای دیگر (متغیرهای رگرسیونی) بررسی شود.

مدل رگرسیونی که مشتمل بر بیش از یک متغیر رگرسیونی(مستقل) باشد، مدل رگرسیون چندگانه نامیده می شود.(رضوی پاریزی (1382)).

مدل استاندارد برای رگرسیون خطی چندگانه به صورت زیر می باشد:

 

(1-1)

که در آن

 

= ε