AI Performance in EN<->VI Translation

I’ve been following the updates on AI tools development for a while to see how helpful they are when it comes to translation tasks, English to Vietnam and back specifically. Today, I tested them out.

Other than ChatGPT and Google Translate, of course, my friend Minh led me to another ‘gold mine’. That’s a hub called HuggingFace (HF), which houses countless models to test on my own computer, even without internet, with Text Generation WebUI.

Along side the most prominent tools as named above, I picked out models that trained on the best Vietnamese lang data set (tested, validated by a team from Stanford University) on HF. And then circled in on the best model to run locally. So see below how the AIs perform, and judge them yourselves.

From Vietnamese, my input:
Và nghệ thuật, lạy trời nếu không phải giống loài ta tự huyễn hoặc, hẳn sẽ nằm trên chính cái giao điểm phổ quát ấy. Nghệ thuật phải là tiếng đồng vọng, bên cạnh phức cảm cá thể, phông nền bối cảnh.¹

To English, AI’s output:

A fine-tuned model from HF:² And art, God if it is not our self-defeating species, it should be on the very intersection of the universe. Art has to be echoing, in addition to the individuality, the complexity, the context background.

Google Translate: And art, if it weren’t for our species’ self-delusion, God forbid, would lie on that universal intersection. Art must be the echo, next to the individual complex, the background of the scene.

ChatGPT 3.5: And art, dear heavens, if it’s not akin to our self-indulgence, surely it must lie at the very intersection of that universal spectrum. Art must be a harmonious voice, alongside the complexities of the individual, the backdrop of the context

ChatGPT 4.0: And art, to put it simply, if it does not belong to our species, it will surely lie on that general intersection. Art must be a resonating sound, besides expressing personal feelings, it sets the background.

In my opinion, each is already quite good and just needs some tweaking. I’m not surprised as the code it’s built on, the framework… or we can say its mothertongue is English.

Now, how about English to Vietnamese translation?

From English, my input:
There were those who would call her a fool for walking so late at night. She had gotten held up in the woods until the light of the waxing moon told her of the late hour. She’d been making her way home through the thick shadows of the dark trees when she’d stepped over a fairy’s scread thicket, and it was too late.³

To Vietnamese, AI’s output:

The fine-tuned model from HF: Có những người sẽ gọi bà là một kẻ ngốc vì đã đi bộ quá khuya. Bà bị giữ lại trong rừng cho đến khi ánh trăng trăng khuyết báo cho bà biết đã quá khuya. Bà đang trên đường về nhà qua những bóng râm dày đặc của những thân cây tối thì bà bước qua một bụi cây cổ thụ và đã quá muộn.

Google Translate: Có người sẽ gọi cô là kẻ ngốc vì đi bộ vào đêm khuya như vậy. Cô đã bị giữ lại trong rừng cho đến khi ánh trăng khuyết báo cho cô biết đã muộn rồi. Cô đang trên đường về nhà xuyên qua bóng tối dày đặc của những hàng cây tối tăm khi cô bước qua bụi cây cổ tích và đã quá muộn.

ChatGPT 3.5: Có những người gọi cô ấy là một kẻ dại dột khi đi bộ muộn đêm như vậy. Cô đã bị mắc kẹt trong khu rừng cho đến khi ánh trăng tròn cho biết giờ đã khá muộn. Cô đang trên đường về nhà qua bóng tối đậm của các cây rừng khi cô bước qua một bụi cây gai của một thần tiên, và đã quá muộn để thay đổi.

ChatGPT 4.0: Có những người sẽ gọi cô là kẻ ngốc vì đi dạo muộn vào buổi tối. Cô đã bị mắc kẹt trong khu rừng cho đến khi ánh sáng của trăng khuyết báo cho cô biết về giờ khuya. Cô đã đang tìm đường về nhà qua những bóng tối dày đặc của những cây cối khi cô bước qua bụi cây scread của tiên, và đã quá muộn.

¹ From an article on Ngaynay.vn

² HuggingFace.co -> gozu888/Envit5-tuned

³ From a post on r/writingprompts

Also very good, isn’t it? I now can’t even joke about AI translation output like how I did a year ago. AI definitely will start replacing us in some fields [I’m talking about EN<->VI translation] while slowly steadily getting more efficient with much more and better data [corrected by users, trained by technicians and linguists, fed more data, with more vocabulary, and so on]. One day, all replaceable tasks would be automated and cut short.

Though ChatGPT might seem to be the best performer for now, since Meta open-sourced pretty much all AI-related stuff recently, the open models are taking long and powerful strides, and they are not slowing down. It’s like an ‘arms race’ looking from here. I was worried at first, now I’m enjoying it.

AIs very likely will make some of my, our skillsets look dull any time soon, but let’s embrace it with an open mind. Don’t worry, I believe there’s always space for us.

Please don’t mind the thumbnail, that’s a little gift for a new lovely little human. I’ll walk you through this, let’s thrive together. 🙂