A Comparison of Selecting Ridge Regression Model by Cp Criteria and Cp Test Statistics

  • Pavaris Meebangsai หลักสูตรวิทยาศาสตรมหาบัณฑิต สาขาวิชาสถิติ คณะสถิติประยุกต์ สถาบันบัณฑิตพัฒนบริหารศาสตร์
  • Vichit Lorchirachoonkul รองศาสตราจารย์ สาขาวิชาสถิติ คณะสถิติประยุกต์ สถาบันบัณฑิตพัฒนบริหารศาสตร์
  • Jirawan Jitthavech ศาสตราจารย์ สาขาวิชาสถิติ คณะสถิติประยุกต์ สถาบันบัณฑิตพัฒนบริหารศาสตร์
Keywords: วิธีการถดถอยแบบริดจ์, เกณฑ์ซีพี, สถิติทดสอบซีพี

Abstract

การศึกษามีวัตถุประสงค์เพื่อเปรียบเทียบการคัดเลือกตัวแปรอิสระในการวิเคราะห์การถดถอยแบบริดจ์เชิงเส้นพหุคูณ ที่ใช้วิธีการประมาณค่าพารามิเตอร์ริดจ์ 5 วิธี คือ วิธีของโฮเอิร์ล เคนนาร์ด วิธีของ โฮเอิร์ล เคนนาร์ดและบาลด์วิน วิธีของลอว์เลสและแวง วิธีของคาลาฟและชูเกอร์ และวิธีกำลังสองน้อยที่สุด โดยใช้วิธีการคัดเลือกแบบไปข้างหน้า และการกำจัดแบบถอยหลังโดยใช้เกณฑ์ซีพี และสถิติทดสอบซีพี ผลการจำลองข้อมูลสรุปได้ว่าเมื่อขนาดตัวอย่าง 15 30 และ 50 ร้อยละของจำนวนครั้งที่คัดเลือกตัวแบบได้ถูกต้องเมื่อใช้สถิติทดสอบซีพีมีค่าสูงกว่าการใช้เกณฑ์ซีพี ในการใช้วิธีการคัดเลือกแบบไปข้างหน้าและการกำจัดแบบถอยหลัง ซึ่งผลการศึกษาไม่พบตัวแบบ Underspecification และ Misspecification มีเพียงตัวแบบ Overspecification ซึ่งเป็นปัญหาที่มีความรุนแรงในการวิเคราะห์น้อยกว่าตัวแบบในสองกรณีแรก นอกจากนั้นพบว่าทุกระดับความสัมพันธ์ของตัวแปรอิสระระหว่าง และ มีการคัดเลือกตัวแบบได้ถูกต้องไม่แตกต่างกัน และวิธีการประมาณค่าพารามิเตอร์ริดจ์ด้วยวิธีต่างๆ สามารถคัดเลือกได้ถูกต้องสูงกว่าวิธีกำลังสองน้อยที่สุด เมื่อตัวอย่างมีขนาดเล็ก และสามารถคัดเลือกตัวแบบได้ถูกต้องไม่แตกต่างกันเมื่อตัวอย่างมีขนาดใหญ่ขึ้น

References

1. Hoerl AE, Kennard RW. Ridge Regression: Biased Estimation to Nonorthogonal Problem. Technometrics. 1970a; 12(2):55-67

2. Hoerl AE, Kennard RW, Baldwin K. Ridge Regression: Some Simulations. Communications in Statistics, 1975; 4(2): 105-123.

3. Lawless J, Wang PA. Simulation study of ridge and other regression Estimators. Communication Statistics – Theory and Methods, 1976; 5(4): 307-323.

4. Khalaf G, Shukur G. Choosing ridge parameter for regression Problem. Communication Statistics in Theory and Methods, 2005; 34: 1177-1182.

5. Nisachon N. A Comparison of Variable Selection with Multicollinearity by Ridge Regression and Tabu Search [Msc thesis]. Bangkok: National Institute of Development Administration; 2013. Thai.

6. McQuarrie A, Robert S, Tsai CL. The model Selection Criterion AlCu. Statistics and Probability Letters, 1997; 34: 2585-292.

7. Sheather SJ. A Modern Approach to Regression with R. New York: Springer; 2009.

8. Mallows CL. Some Comments on CP. Technometrics, 1973; 15(4): 661-675

9. Songsiri T. Regression Analysis .3rd ed. Kasetsart University (BKK); 2005.

10. Rotjana K. A Comparison of the Model Selection Criterion in Multiple Linear Regression Analysis [Msc thesis]. Bangkok: Thammasart University; 2006. Thai.

11. Akaike H. Information Theory and an Extension of the Maximum Likelihood Principle. In 2nd International Symposium on Information Theory. B.N. Petrov and F.Cski, eds. Akademiai Kiado, Budapest; 1973; 15(4): 267-281

12. Palakorn S. Test Statistics for Selecting Multiple Linear Regression Models [Msc thesis]. Bangkok: National Institute of Development Administration; 2010. Thai.
Published
2019-06-14
Section
บทความวิจัย