وقتی داوران ماشین‌اند
اعتماد، درستکاری و بحران داوری همتا
این رویداد بخشی از نمایش امکانات لرالینک برای برگزاری رویدادهای دانشی است. محتوای آن با دقت و بر پایهٔ منابع واقعی نوشته شده، اما همایش هنوز برگزار نشده است و شرکت‌کنندگانش، جز دبیر همایش، شخصیت‌هایی ساختگی‌اند.
سال ۲۰۲۳ در تاریخ نشر علمی رکوردی ناخوشایند به جا گذاشت. ریچارد ون‌نوردن در مجلهٔ نیچر گزارش داد که در آن سال بیش از ده هزار مقاله پس گرفته شد، بیش از هر سال دیگر، و بیشترشان از مجله‌های یک ناشر که پیش‌تر تنها به نشر دسترسی باز شناخته می‌شد. بسیاری از این مقاله‌ها در شماره‌های ویژه‌ای منتشر شده بودند که داوری‌شان دستکاری شده بود: داورانی ساختگی، گزارش‌هایی تکراری، و شبکه‌هایی که مقاله را مثل کالا تولید و جای‌گذاری می‌کردند. کمیتهٔ اخلاق نشر و انجمن بین‌المللی ناشران علمی یک سال پیش‌تر در گزارشی مشترک دربارهٔ همین «کارخانه‌های مقاله» هشدار داده بودند.
اکنون لایهٔ تازه‌ای به این بحران افزوده شده است. ویشین لیانگ و همکارانش داوری‌های چند همایش بزرگ یادگیری ماشین را بررسی کردند و برآورد کردند که میان ۶٫۵ تا ۱۶٫۹ درصد متن گزارش‌های داوری به‌طور چشمگیری با مدل‌های زبانی تغییر کرده است، فراتر از اصلاح املا و ویرایش جزئی. نکتهٔ گویاتر این بود که این سهم در داوری‌هایی بیشتر بود که داور به داوری خود اطمینان کمتری داشت، نزدیک مهلت فرستاده شده بودند، و داورش کمتر به پاسخ نویسندگان واکنش نشان داده بود.
تصویر کامل این است: نویسنده زیر فشار شمار مقاله با کمک ماشین می‌نویسد، داور خسته با کمک ماشین داوری می‌کند، و ویراستار برای پیدا کردن داور به ماشین تکیه می‌کند. دایره‌ای بسته پدید آمده که در آن ماشین برای ماشین می‌نویسد و امضای انسان فقط مُهری آیینی است. نباید این را به فساد فردی فروکاست. داوری همتا کاری بی‌مزد است که بر دوش پژوهشگرانی گذاشته شده که خود زیر فشار ارزیابی‌های کمّی‌اند. نظامی که پاداشش برای انتشار است و برای داوری هیچ، داوری را به کاری می‌سپارد که با کمترین هزینه انجام شود.
این بحران در جنوب جهانی شکل دیگری هم دارد. پژوهشگران بسیاری از کشورها از سویی بیش از دیگران زیر فشار نمایه‌ها و رتبه‌بندی‌ها قرار دارند و آماج تبلیغ کارخانه‌های مقاله‌اند، و از سوی دیگر وقتی رسوایی برملا می‌شود، کل جامعهٔ علمی‌شان مشکوک شمرده می‌شود. هزینهٔ نظامی که در مرکز طراحی شده، در حاشیه پرداخت می‌شود.
راه برون‌رفت در ابزار تشخیص نیست. در تغییر جای ارزش است: داوری باید کار پژوهشی شناخته شود، با نام داور، با امکان انتشار، و با اعتباری که در ارزیابی شغلی به حساب آید. داوری کوچک‌تر، کندتر و امضاشده بهتر از انبوه داوری‌های بی‌نامی است که دیگر هیچ‌کس نمی‌داند چه کسی نوشته‌شان.
پرسش‌های بحث
- اگر داوری امضاشده شود، از داوران جوان و آسیب‌پذیر در برابر انتقام نویسندگان قدرتمند چگونه محافظت می‌شود؟
- آیا داوری می‌تواند در ارزیابی شغلی پژوهشگران هم‌وزن انتشار شمرده شود؟
- استفادهٔ مجاز از ماشین در داوری کجا به پایان می‌رسد؟
منابع
Van Noorden, Richard. 2023. “More than 10,000 Research Papers Were Retracted in 2023 — a New Record.” Nature 624: 479–481.
Liang, Weixin, et al. 2024. “Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews.” arXiv:2403.07183.
COPE and STM. 2022. Paper Mills: Research Report from COPE & STM. Committee on Publication Ethics and International Association of Scientific, Technical and Medical Publishers.