วิวัฒนาการของการประเมินคุณภาพวารสารวิชาการ
The Evolution of Journal Evaluation

โดย  นางรังสิมา  เพ็ชรเม็ดใหญ่
ศูนย์บริการความรู้ทางวิทยาศาสตร์และเทคโนโลยี (STKS)
สำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ (สวทช.)
สิงหาคม 2552

ชุมชนวิทยาศาสตร์และเทคโนโลยีโลก ได้พึ่งพาสิ่งพิมพ์วิชาการโดยเฉพาะวารสารวิชาการ (Scholarly Journal ) ให้เป็นแหล่งตีพิมพ์ผลงานเพื่อเผยแพร่  โดยมีการนำเสนอความคิดใหม่ การทดลองใหม่ การค้นพบความรู้ใหม่ หรืออื่นๆ ได้ก่อให้เกิดความเจริญก้าวหน้าในสาขาวิทยาศาสตร์ทั่วโลก วารสารวิชาการส่วนใหญ่มีขนวบการ peer review  และเมื่อพูดถึงวารสารวิชาการที่ทรงอิทธิพลมากที่สุด (most influential journals) นักวิทยาศาสตร์ทั่วโลกต่างพูดทันทีถึงค่า Impact Factor, IF ที่ตีพิมพ์ในบริการชื่อ Journal Citation Report, JCR ของบริษัท  ISI Thomson Reuters เป็นบริการที่มีมาอย่างยาวนานกว่า 50 ปี

ค่า IF คือ ค่าเฉลี่ยของจำนวนการได้รับการอ้างอิงของบทความในวารสารชื่อหนึ่ง ต่อ จำนวนบทความที่พิมพ์ก่อนหน้านั้น ในช่วง 2 ปี  JCR 2008 (ออกบริการรายปี) ชุดใหม่ล่าสุดที่เริ่มคิดค่า IF แบบช่วง 5 ปี

ที่ผ่านมามีการนำค่า IF ไปใช้ในทางที่ผิด (misuse)  ซึ่งเป็นการกระทำที่สืบทอดกันมาจากรุ่นก่อนๆ ถือเป็นเรื่องน่ากลัว คือ มีการนำค่า IF ไปวัดถึงบทความที่ตีพิมพ์ในวารสารรวมถึงวัดถึงผู้แต่งหรือ นักวิทยาศาสตร์อีกด้วย

การตัดสินคุณภาพของนักวิทยาศาสตร์เป็นเรื่องยากยิ่ง ต้องในผู้เชี่ยวชาญในสาขานั้นเป็นผู้ประเมินด้วยขนวบการ peer review ประเมินคุณภาพในแต่ละบทความวิจัยโดยตรง

วิธีการคำนวณหาค่า IF คือวิธีการศึกษาในสาขา Bibliometrics ซึ่งมีคำจำกัดความดังนี้ “The statistical analysis of bibliographic data, mainly in scientific and technical literatures. It measures the amount of scientific activity in a subject category / journal / country/ topic or other area of interest. ”

นัก Bibliometrician  มีการนำเสนอหน่วยวัดวารสารหลากหลายค่า เพื่อปรับปรุงแก้ไขตามคำวิพากษ์วิจารณ์ ถกเถียง กันในชุมชนวิจัยวิทยาศาสตร์ทั่วโลก  เพื่อให้มีหน่วยวัดหลากหลาย ด้วยวิธีการที่อยู่บนหลักการของ  จำนวนบทความ ( Number Publications) จำนวนการได้รับการอ้างอิง ( Number Citations)  จำนวนการใช้ (Usage) และอื่นๆ มีการสรุปว่า ขณะนี้ ยังไม่มีหน่วยวัดที่สมบูรณ์ เพียงพอ ในการวัดถึงผลกระทบของวารสารที่แท้จริง ค่า IF เป็นเพียงผิวๆ / เส้นรอบวง (periphery) ของตาชั่ง
ขณะนี้ มีการนำเสนอหน่วยวัดคุณภาพวารสาร ชุดใหม่ ที่ชื่อ Eigenfactor ที่ทำการจัดอันดับวารสารวิชาการที่ทรงอิทธิพลด้วยวิธีการเดียวกับ Google จัดอันดับเว็บไซต์ ด้วยอัลกอธิธัมที่ชื่อ  Network Theory ทำการจัดลำดับวารสารตามอิทธิพลหากมีการอ้างอิงบทความภายในเล่มในจำนวนมากในช่วง 5 ปีที่ผ่านมา

ประวัติพัฒนาการของหน่วยวัด เพื่อประเมินคุณภาพวารสารวิชาการ มีมายาวนานกว่า 50 ปี ตามลำดับเหตุการณ์ที่สำคัญ (Timelines) ดังนี้
ปี ค.ศ. 1960  Dr. Eugene Garfield ได้นำเสนอแนวคิดในการนำข้อมูลการอ้างอิงมาวัดคุณภาพวารสาร โดยตีพิมพ์บทความนำเสนอให้วารสาร Science เมื่อปี 1955
ปี ค.ศ. 1963  เกิดฐานข้อมูล Science Citation Index เป็นการนำเสนอบทความวิจัยวิทยาศาสตร์ที่มีข้อมูลการอ้างอิง
ปี ค.ศ. 1970  เกิดฐานข้อมูล Social Science Citation Index เป็นการนำเสนอบทความวิจัยสังคมศาสตร์ที่มีข้อมูลการอ้างอิง
ปี ค.ศ. 1976  เกิดบริการ Journal Citation Report, JCR  นำเสนอค่า Journal Impact Factor, JIF
ปี ค.ศ.1980  เกิดฐานข้อมูล Arts & Humanities Citation Index  เป็นการนำเสนอบทความวิจัยมนุษยศาสตร์ที่มีข้อมูลการอ้างอิง
ปี ค.ศ. 1990 ISI  นำเสนอข้อมูล Indicators datasets & Citation report
ปี ค.ศ. 1995 เกิดบริการแบบเว็บเบส ISI – Web of Knowledge
ปี ค.ศ. 2000 เกิดบริการ Essential Science Indicators, ESI
ปี ค.ศ. 2005 มีการเสนอหน่วยวัดคุณภาพงานวิจัย h index
ปี ค.ศ. 2007  มีการเสนอหน่วยวัดคุณภาพงานวิจัย Eigenfactor Metrics

จนถึงขณะนี้ วงการวิจัยวิทยาศาสตร์ มีหน่วยวัด คุณภาพงานวิจัยวิทยาศาสตร์ หลายค่า ได้แก่
1. Impact Factor, IF (Immediacy index, Cited half life)
2. H index
3. Eigenmetrics
4. Map & Research Fronts
5. Usage Statistics  (ขณะนี้มีการนำเสนอหน่วยวัดที่ชื่อ usage factor ซึ่งกำลังมีการพัฒนาอยู่ที่ Oxford University Press)

จากหน่วยวัด 3 ค่าหลักข้างต้น ทุกๆหน่วยต่างก็ใช้ข้อมูลการอ้างอิง (citation count) เป็นสำคัญ
เหตุผลในการใช้ข้อมูลการอ้างอิง ในการวัด performance ของงานวิจัย คือ
การอ้างอิงถึงบทความอื่นๆ หมายความว่ามีการใช้ (use)/เป็นการตอบรับ(reception)/ เป็นสิ่งที่มีประโยชน์ (utility)/ การมีอิทธิพล (influence)/ มีความสำคัญ (significance) / มีผลกระทบ (impact) ฯลฯ  แต่ไม่ได้วัดถึงคุณภาพ การประเมินคุณภาพต้องเป็นการตัดสินด้วยมนุษย์เท่านั้น

ข้อมูลการอ้างอิง เป็นดัชนีชี้ถึงผลกระทบต่อบทความวิจัยและมีผลประโยชน์ต่อชุมชนวิจัยทั่วโลก ถือเป็นการแสดงถึงรูปแบบการตรวจทานที่ยอมรับ (peer acknowledge) จากนักวิทยาศาสตร์กลุ่มงานวิจัยในสาขาเดียวกันนั้น
ขนวบการ peer review ยังคงเป็นวิธีการรากฐานของการประเมินคุณภาพงานวิจัย ฉะนั้นการวิเคราะห์เชิงปริมาณไม่ควรเข้ามาแทนที่การ peer review  ควรเป็นเพียงสิ่งที่มาเสริมให้สมบูรณ์และใช้ให้ถูกต้องตามแต่ละกรณี
หน่วยวัด citation ดีพอสำหรับการวัด กิจกรรมทางวิทยาศาสตร์ หรือไม่

Citation metrics มีคุณสมบัติที่สำคัญคือ Transparent โปร่งใส / Repeatable ใช้ซ้ำได้ / Understand  เข้าใจได้
ข้อเด่นในการนำไปใช้  คือ
– สำหรับชุมชนที่ 3 ใช้เป็นหลักฐานที่ชัดเจนได้
– เชื่อถือได้ เพราะมีแหล่งข้อมูลให้ตรวจสอบได้
– ปรับใช้ตามที่ต้องการได้

โดยหน่วยวัด 3 ประเภทที่สำคัญนั้น อยู่บนหลักการที่อาจแบ่งได้เป็น 3 ประเภท คือ

1. Impact Journal Metrics
– เป็นการนับจำนวนการได้รับการอ้างอิง ต่อจำนวนบทความที่ตีพิมพ์ (ในวารสาร)
– เป็นวิธีที่ง่าย  เข้าใจได้
– เป็นหน่วยวัดที่รู้จักกันเป็นอย่างดี ในชุมชนวิจัยทั่วโลก คือค่า JIF, Immediacy index, Time half life index

2. H  Family

– อยู่บนหลักการเรียงลำดับจากสูงสุดไล่เรียง ของจำนวนบทความตีพิมพ์
– เป็นหน่วยวัดที่ง่าย เข้าใจได้
– สามารถนำประยุกต์ได้กับทุกระดับ คือ วารสาร นักวิทยาศาสตร์ สถาบัน ประเทศ

3. Influence Metric
– เป็นการให้ค่าน้ำหนักในการวัดของโครงสร้างเครือข่ายของการอ้างอิงทั้งหมด
– คิดหน่วยวัดเป็น 2 ค่าหลัก คือ Eigenfactor Influence (EI) / Article Influence (AI)

วิธีการคำนวณหาค่า Journal  Impact Factor, JIF

คำจำกัดความ  หมายถึงสัดส่วนระหว่าง จำนวนการได้รับการอ้างอิง / จำนวนบทความที่ตีพิมพ์
JIF =   current year  cites to items published in 2 preceeding years
Number of  articles (citable items) exclude editorials, letter, news, meeting abs.

ตัวอย่างที่ 1 แสดงวิธีการคำนวณ 2 years JIF 2007 ของวารสาร A ดังนี้
มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2006 =4541 ครั้ง  cites item
มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2005 =5827 ครั้ง
รวม จำนวนการอ้างอิงถึงวารสาร A ช่วง 2 ปี  = 10368
จำนวนบทความที่ตีพิมพ์ ปี 2006 = 773  เรื่อง  item published/citable items
จำนวนบทความที่ตีพิมพ์ ปี 2005 = 837  เรื่อง
รวม จำนวนการตีพิมพ์ ของวารสาร A ช่วง 2 ปี = 1610 เรื่อง

ฉะนั้น ค่า JIF- 2 years ของวารสาร A =  10368/1610

=  6.440

ตัวอย่างที่ 2   แสดงวิธีการคำนวณ 5 years JIF 2007 ของวารสาร A ดังนี้
มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2006 =4541 ครั้ง
มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2005 =5827 ครั้ง
มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2005 =68931 ครั้ง
มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2005 =6505 ครั้ง
มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2005 =5159 ครั้ง
รวม จำนวนการอ้างอิงถึงวารสาร A ช่วง 5 ปี  =28925

จำนวนบทความที่ตีพิมพ์ ปี 2006 = 773  เรื่อง
จำนวนบทความที่ตีพิมพ์ ปี 2005 = 837  เรื่อง
จำนวนบทความที่ตีพิมพ์ ปี 2005 = 1003  เรื่อง
จำนวนบทความที่ตีพิมพ์ ปี 2005 = 970  เรื่อง
จำนวนบทความที่ตีพิมพ์ ปี 2005 = 957  เรื่อง
รวม จำนวนการตีพิมพ์ ของวารสาร A ช่วง 5 ปี = 4540 เรื่อง

ฉะนั้น ค่า JIF 5 years ของวารสาร A = 28925/4540

= 6.371

ประเด็นที่เกิดข้อถกเถียงของค่า JIF
– Citable items ไม่มีมาตรฐานและคำจำกัดความไม่แน่ชัด
– Citation Pattern ในแต่ละสาขาวิชามีความผันแปรแตกต่างกันอย่างมาก
– การคิดค่า แค่ช่วงระยะเวลาเพียง 2 ปี เป็นช่วงเวลาที่สั้นเกินไป
– ประเภทของบทความตีพิมพ์ (Review, Research article) มีความผันแปรในการอ้างอิงแตกต่างกัน
– คิดค่า JIF เฉพาะวารสาร  ไม่มีสิ่งพิมพืประเภทอืนๆ
– เป็นการวัดที่บิดเบือนของการกระจายตัวของค่าต่างๆ

คำจำกัดความ “A scientist has index h if h of his/her np papers have at least h citation each, and the other (Np – h) papers have less than or equal to h citation each”

รูปภาพที่ 2 ค่า h index ของวารสาร Nature ปี 2009
Source : Database Scopus (Subscribed)

คุณลักษณะของการคิดคำนวณค่า h  คือ
– เป็นการนับรวมทั้งปริมาณ (size) กับผลกระทบ(impact)
– สามารถปรับ ใช้วัดได้กับสิ่งพิมพ์ทุกประเภท
– มีข้อสังเกต ว่าทำไมไม่วัดที่ค่าเฉลี่ย (median)
วิธีการคำนวณหาค่า h ดังนี้  วารสาร Nature ปี 2009 ได้ค่า h = 15  (ณ สิงหาคม 2009)
ทำการเรียงลำดับรายการบทความวิจัย  ตามจำนวนที่ได้รับการอ้างอิงสูงสุด ไล่เรียงลงไป ดังนี้

อ้างอิงจาก ฐานข้อมูล Scopus  เมื่อวันที่ 24 สิงหาคม 2552

ประเด็นที่เกิดข้อถกเถียงของค่า  h
– เป็นการตัด / ไม่สนใจบทความที่มีจำนวนการได้รับการอ้างอิงสูง highly cited paper
– วิธีการใช้ ควรนำค่าที่คำนวณได้ไปใช้เปรียบเทียบกับสิ่งอื่นๆ
– ไม่มีกรอบของช่วงเวลา ค่า h มีแต่จะเพิ่มขึ้นเสมอ
– ใช้ค่านี้ เพื่อเป็นการยกย่อง / ชื่นชมแก่นักวิทยาศาสตร์

Eigenfactor

Eigenmetrics  ประกอบด้วย 2 ค่า คือ
EigenFactor Influence  Score (EI) กับ Article Influence Score (AI)

ค่า EI เป็นค่าที่มาจาก
– พิจารณาโดยใช้หลักการ Citation Network เพื่อใช้วัดถึง Citation Influence จัดอันดับวารสารแบบเดียวกับกูเกิ้ล จัดอันดับหน้าเว็บไซต์
– ใช้ข้อมูลดิบจาก JCR ของบริษัท ISI  ในช่วงระยะเวลา 5 ปี
– คิดคำนวณค่าโดยการตัด self citation ออก
– แสดงให้เห็นถึงความแตกต่างของรูปแบบการอ้างอิงในสาขาวิชาต่างๆ

ค่า AI มีคุณลักษณะดังนี้
– เป็นค่าที่ใช้เทียบเคียงกับค่า IF ได้
– เป็นการวัดสัดส่วนของค่า EF ต่อปริมาณจำนวนบทความ

ประเด็นที่ถกเถียงเกี่ยวกับ Eigenmetric
– เข้าใจได้ยาก มีความสลับซับซ้อนมาก
– ไม่มีมาตรฐานในขนาดหรือปริมาณ
– เป็นการวัดระหว่างอิทธิพล (influence) กับผลกระทบ (impact)

รูปภาพที่ 3  แสดงหน่วยวัด  EigenFactor ในค่า Eigenfactor score และค่า Article Influence score
Source : www.eigenfactor.org – Free/Open Access

สิ่งที่ควรรู้ เมื่อต้องการใช้หน่วยวัดเพื่อการประเมิน
– วิธีการวัด/นับแบบง่าย (simple count) จากจำนวนต่างๆ เช่นจำนวนบทความตีพิมพ์ / การได้รับการอ้างอิง /  ค่าเฉลี่ยการอ้างอิงต่อบทความ ถือเป็นข้อมูลสถิติเบื้องต้นและเป็นพื้นฐาน ที่วัดในช่วงเวลาหนึ่งๆ รวมทั้งมีการใช้ค่ามาตรฐานทางสถิติต่างๆ เช่น ค่าเฉลี่ย  mean / median
– เป็นการวัดข้อมูลในช่วงเวลาหนึ่งๆ (time series data) 1ปี / 5 ปี / 25 ปี
– การวัดแบบคิดเป็นสัดส่วนร้อยละ (percent share)  ของจำนวนบทความ/การอ้างอิง ภายใต้ข้อมูลหลักเช่น สาขาวิชา หน่วยงาน ประเทศ
– ความคาดหวังในความถี่ในจำนวนของการอ้างอิง (expected citation counts) ที่มีต่อบทความ คิดบนพื้นฐาน ต่อปี ต่อวารสาร ต่อนักวิทยาศาสตร์
– สาขาวิชาที่เกิดใหม่ / ที่มีความเข็มแข็ง (emerging field & research strengths) เพื่อให้เข้าใจถึงการเปลียนแปลงรูปแบบการอ้างอิง หรือการอ้างอิงร่วมกันของสาขาวิชาใหม่
– การเทียบเคียงกับค่ามาตรฐาน (benchmarks for context) บนหลักการของสาขาวิชา เทียบในระดับโลก ประเทศ เพื่อให้เห็นผลกระทบ
– ปัจจัยที่มีผลต่อหน่วยวัดคุณภาพขึ้นกับ งบประมาณการวิจัย จำนวนนักวิจัย สิ่งอำนวยความสะดวกในการวิจัย

———————————————————————————-
เอกสารอ้างอิง
Patricia Brennan 2009 “Bridging the Geographic Science Gap : Modes of Quantitative Analysis for Scientific Papers” Presented at the Council of Science
Editors  3 May 2009 available at https://www.councilscienceeditors.org/wp-content/uploads/v32n5p153.pdf