文字生成技術應用於學術論文寫作之評估-以人工智慧領域論文摘要為例(thesis text generation technology is applied to the evaluation of academic paper writing-take the thesis in the field of artificial intelligence as an example)

文字生成技術應用於學術論文寫作之評估-以人工智慧領域論文摘要為例(thesis text generation technology is applied to the evaluation of academic paper writing-take the thesis in the field of artificial intelligence as an example)

Keywords:人工智慧,深度學習,自然語言生成,文字生成,學術論文寫作
Abstract:文字生成技術的應用在近年愈臻成熟,其對學術產出過程的影響更是不容小覷。為初步瞭解比技術對學術研究發表的影響,並探索人類與電腦能否辨別電腦生成或人類撰寫之學術文章,本研究運用既有的開放資源,以人工智慧領域之論文摘要為範圍,進行了「人類評估電腦生成摘要」及「摘要生成模型自動化評估」兩實驗。實驗一依據 ACL Anthology 和arXiv (cs.AI)語料,以語言模型 GPT-2生成論文摘要,再就英文文法檢查工具Grammarly 和受試者對其之評估情形進行分析。寶驗二則藉由分類器,賓測電腦能否辨別出電腦生成之摘要,再與受試者的評估結果進行比較。研究結論如下:1.電腦能生成仿真度高的摘要,並在 Grammarly 的評估指標表現較人類撰寫摘要佳。 2.受試者對於電腦生成摘要之平均良麻度給分為 3.617,而人類撰寫摘要則為 3.622,顯示人類在不知道有電腦參與生成的前提下,無法明顧地辨別出一篇摘要為電腦生成或人類撰寫。3.以 SciBERT 預測 30篇摘要さ Micro 和 Macro f1 皆為0.93,較愛試者的0.53 及 0.44高上許多,顯示電腦具辦別電腦生成摘要之能力。同時,由於在 SCiBERT 預測錯誤的2篇摘要中,有I篇在人類預測中為正確,推論電腦與人類或許能在辦別上相互輔助。