A Comparison of Selecting Ridge Regression Model by Cp Criteria and Cp Test Statistics
Keywords:
วิธีการถดถอยแบบริดจ์, เกณฑ์ซีพี, สถิติทดสอบซีพีAbstract
การศึกษามีวัตถุประสงค์เพื่อเปรียบเทียบการคัดเลือกตัวแปรอิสระในการวิเคราะห์การถดถอยแบบริดจ์เชิงเส้นพหุคูณ ที่ใช้วิธีการประมาณค่าพารามิเตอร์ริดจ์ 5 วิธี คือ วิธีของโฮเอิร์ล เคนนาร์ด วิธีของ โฮเอิร์ล เคนนาร์ดและบาลด์วิน วิธีของลอว์เลสและแวง วิธีของคาลาฟและชูเกอร์ และวิธีกำลังสองน้อยที่สุด โดยใช้วิธีการคัดเลือกแบบไปข้างหน้า และการกำจัดแบบถอยหลังโดยใช้เกณฑ์ซีพี และสถิติทดสอบซีพี ผลการจำลองข้อมูลสรุปได้ว่าเมื่อขนาดตัวอย่าง 15 30 และ 50 ร้อยละของจำนวนครั้งที่คัดเลือกตัวแบบได้ถูกต้องเมื่อใช้สถิติทดสอบซีพีมีค่าสูงกว่าการใช้เกณฑ์ซีพี ในการใช้วิธีการคัดเลือกแบบไปข้างหน้าและการกำจัดแบบถอยหลัง ซึ่งผลการศึกษาไม่พบตัวแบบ Underspecification และ Misspecification มีเพียงตัวแบบ Overspecification ซึ่งเป็นปัญหาที่มีความรุนแรงในการวิเคราะห์น้อยกว่าตัวแบบในสองกรณีแรก นอกจากนั้นพบว่าทุกระดับความสัมพันธ์ของตัวแปรอิสระระหว่าง และ มีการคัดเลือกตัวแบบได้ถูกต้องไม่แตกต่างกัน และวิธีการประมาณค่าพารามิเตอร์ริดจ์ด้วยวิธีต่างๆ สามารถคัดเลือกได้ถูกต้องสูงกว่าวิธีกำลังสองน้อยที่สุด เมื่อตัวอย่างมีขนาดเล็ก และสามารถคัดเลือกตัวแบบได้ถูกต้องไม่แตกต่างกันเมื่อตัวอย่างมีขนาดใหญ่ขึ้น
References
2. Hoerl AE, Kennard RW, Baldwin K. Ridge Regression: Some Simulations. Communications in Statistics, 1975; 4(2): 105-123.
3. Lawless J, Wang PA. Simulation study of ridge and other regression Estimators. Communication Statistics – Theory and Methods, 1976; 5(4): 307-323.
4. Khalaf G, Shukur G. Choosing ridge parameter for regression Problem. Communication Statistics in Theory and Methods, 2005; 34: 1177-1182.
5. Nisachon N. A Comparison of Variable Selection with Multicollinearity by Ridge Regression and Tabu Search [Msc thesis]. Bangkok: National Institute of Development Administration; 2013. Thai.
6. McQuarrie A, Robert S, Tsai CL. The model Selection Criterion AlCu. Statistics and Probability Letters, 1997; 34: 2585-292.
7. Sheather SJ. A Modern Approach to Regression with R. New York: Springer; 2009.
8. Mallows CL. Some Comments on CP. Technometrics, 1973; 15(4): 661-675
9. Songsiri T. Regression Analysis .3rd ed. Kasetsart University (BKK); 2005.
10. Rotjana K. A Comparison of the Model Selection Criterion in Multiple Linear Regression Analysis [Msc thesis]. Bangkok: Thammasart University; 2006. Thai.
11. Akaike H. Information Theory and an Extension of the Maximum Likelihood Principle. In 2nd International Symposium on Information Theory. B.N. Petrov and F.Cski, eds. Akademiai Kiado, Budapest; 1973; 15(4): 267-281
12. Palakorn S. Test Statistics for Selecting Multiple Linear Regression Models [Msc thesis]. Bangkok: National Institute of Development Administration; 2010. Thai.
