I sound more like AI than he does

I decided to conduct a small experiment.

I took an original piece of my Thai writing about Oliver and the ancient tortoise and asked an AI detection tool to tell me how how much of it looked like it might have been processed by AI.

Then I compared it with an expanded version of the same tale which I had earlier asked a chatbot (not GPT) translate.

Earlier, I showed the second piece to GPT, who turned up his nose at the rival's workmanship, as it barely looked like my story any more.

We spent a few days rooting out signs of AI excess so it least looked as if I might have written it originally, despite the "sheen" of AI it had acquired in the translation process.

The other chatbot, which shall remain nameless, has a rather florid hand at translation. I would give it prompts telling it to keep the writing low key, but it kept straying into the AI twilight zone. One day, after I admonished it for yet another lapse, it admitted: "We need constant reminders."

Anyway, back to the Ai detection test. After I fed both my writing and the second piece, amended by GPT and me, to the Ai detector, I expected the following result:

My original: human (because it was - no AI was involved in the writing process).
The revised version which GPT worked on with me: perhaps a small taint of AI (despite our best efforts -  it's a tough garden to weed).

Wrong!

The original, the detector said, looked like AI-generated prose: a woeful 70 per cent, in fact.

Original

ผมเป็นนักข่าวเด็กที่สุด อายุแค่ 26 ปีเอง
ออฟฟิศก็เล็กมีแค่สี่คน
นักข่าวผู้มีอาวุโสสุด
ชื่อ โอลิเวอร์ อายุใกล้เกษียณแล้ว
เป็นนักข่าวประจำที่นี่ตั้ง 20กว่าปี
เค้ารู้จัก สส เยอะมาก
เค้าแวะมาหาโอลิเวอร์ ทั้งวัน
เค้าไม่เคยมาหาผม เพราะผมเด็กเกิน อิอิ

As an added insult, the AI detector then offered to "humanise" my writing (strip out the supposed AI), even though it was 100 per cent human-made all along.

Then we ran the revised version.

Revised version

โอลิเวอร์คือหนึ่งในสื่อมวลชนที่อาวุโสที่สุดในทำเนียบรัฐบาล แกทำงานที่นี่มานานกว่า 20 ปีแล้ว

ทุกคนรู้จักแกหมด ตั้งแต่ ส.ส. แถวหลัง หัวหน้าพรรคฝ่ายค้าน ไปจนถึงตัวนายกรัฐมนตรีเอง

บารมีของแกนี่น่าทึ่งมาก เป็นชื่อเสียงที่สะสมมาจากประสบการณ์อันยาวนานหลายทศวรรษ

Then, later:

มีอยู่วันหนึ่ง ลองงีแวะมาหาโอลิเวอร์ที่ออฟฟิศ แต่ตอนนั้นโอลิเวอร์ไม่อยู่ และผมอยู่เฝ้าห้องคนเดียวพอดี

"โอลิเวอร์อยู่ไหม" แกถามผม

"ไม่อยู่ครับ มีอะไรจะฝากไว้ไหมครับ" ผมตอบกลับไป

ใจจริงตอนนั้นผมอยากจะบอก เดวิด ลองงี มากเลยว่า แกคือนักการเมืองในดวงใจและเป็นฮีโร่ของผมมาตั้งแต่สมัยเรียนเลยนะ เพราะแกปฏิรูปเศรษฐกิจได้เก่งมาก

แต่สุดท้ายผมก็ไม่กล้าพูดออกไป... ก็นั่นแหละครับ เพราะตอนนั้นผมยังเป็นแค่เด็กน้อยเพิ่งหัดบินอยู่นั่นเอง

And this time, mysteriously, traces of AI were evidently nowhere to be found.

AI detected: 0%

So, what exactly was the detector detecting?

I didn't know that my writing, even without consulting AI, was loaded with so much AI-style excess: unnecessary metaphors, inflated adjectives, repetitive structures and slightly overcooked emotional language that can make AI prose sound like AI prose. 

And as for the expanded version which I cleaned up with GPT, obviously we did too good a job. We "humanised" it to the extent it could no longer detect AI at all.

Want to see what all that fuss was about?

Read the Oliver saga here →