Toshiyuki Kobayasi

Work/ Emeralds

Emeralds

The AI ordering app with point and voice

“Emeralds” is a conceptual AI ordering app that allows customers to ask questions and consult with AI when deciding on a menu, allowing them to order flexibly as if they were interacting with a store clerk. Users can order more intuitively and easily with the point & voice function that allows users to order while pointing at the screen with the voice. It was mainly designed for people who have a digital divide.

“Emeralds”はカスタマーがメニューを決める際、AIと質問や相談をしながら、まるで店員とやりとりしているかのような柔軟なオーダーができるコンセプチュアルAIオーダーアプリです。声と共に画面を指差しながら注文できるポイント&ボイス機能でより直感的で簡単なオーダーをすることができます。主にデジタルディバイド(情報格差)を持つ人たちのために考えました。

The problem

For people living in the digital divide, it is difficult to order because they cannot trust apps due to failure or fear. Additionally, even general users may not understand the complicated ordering process or how to use some apps.

The goal

Design an app that allows users with a digital divide can eliminate anxiety and fear by being able to communicate with questions and consultations as flexibly as if they were ordering with an actual store clerk, and the combination of point and voice allows the ordering experience intuitive, easy, and delightful.

The business goal

This app communicates with customers with sufficient respect and hospitality, making the series of experiences from ordering to receiving a pleasant time in the customer’s life, increasing customer experience and loyalty, and encouraging repeat purchases to improve sales. Also, avoid leaving customers with a digital divide behind as much as possible, gain their trust, and acquire new customer base.

問題

デジタルディバイドのある人たちにとって、失敗や恐れなどからアプリを信頼できずにいるために使いこなすことができず、オーダーが難しいこと。また一般のユーザーでも、複雑なオーダープロセスや使い方がわからないことがあること。

ゴール

デジタルディバイドのある人でも、実際の店員とのオーダー体験のように柔軟に質問や相談などのコミュニケーションがとれることで、不安や恐れを取り除き、声と指の組み合わせにより、直感的、簡単で、魅力的なオーダー体験をデザインすること。

ビジネスゴール

このアプリがカスタマーに対して十分なリスペクトとホスピタリティーを持ってコミュニケーションし、オーダーから受け取りまでの一連の体験がカスタマーの人生の中で心地よい時間となりCustomer experienceとloyalityを高めることで、購買をリピートしてもらい売り上げを向上させること。また、デジタルディバイドを持つカスタマーをできるだけ取り残さないようにし、彼らの信頼を得て新しいカスタマー層を獲得すること。

Features

By combining AI with “point and voice,” the AI understands what the user intends to do by speaking and long-pressing on the screen, and provides feedback.

AIと”ポイントアンドボイス” を組み合わせることによって、声による言葉とスクリーン上でのポインティング(長押し)によって、ユーザーが何を意図しているかをAIが理解しフィードバックを返します。

AI makes suggestions in response to requests for food from users, answers questions about ingredients and production areas, and shows menus that have been ordered in the past. AI can also understand what “this one” means on the screen, and add orders.

AIはユーザーからの欲しい食べ物のリクエストに対して提案し、食材や産地など質問に答え、過去のオーダーしたメニューを見せてくれます。また、今表示されている画面を認識して”これ”が何を意味するか理解してオーダーすることもできます。

Full demo

My process

“Emeralds” is a vegan sandwich restaurant that emphasizes local production and consumption, with its main attraction being its 12 types of original sauces. The dodecagon shape of the symbol represents “time,” while the word “emerald” conveys “health.” This logo expresses the desire for individuals to live their lives in good health.

”エメラルズ”は12種類のオリジナルソースが売りの地産地消を行うヴィーガンサンドウィッチレストラン。シンボルの12角形の形は”時間”を意味し、エメラルドの宝石言葉は”健康”を意味します。このロゴには人生の時間を健康に過ごせるようにという想いが表現されています。

Conclusion

When I was researching for this project, I learned that there are many people in this world who cannot use digital devices such as mobile apps due to the generation gap and usage gap of digital devide. Also, when I was looking for ideas for UX design, I noticed that when I observed how customers order from menus at restaurants, etc., some customers naturally point to the menu and order. I believe that in order to reach the digital divide, which exists among people with low digital literacy and skills, we should incorporate as much of the natural behavior that humans do in the physical world into the digital world as possible. I also believe that AI is a technology that has the potential to make this possible. In the future, I hope that the number of digital divides will decrease and the world will be more fair, with more digital devices that can understand and operate flexibly, even in natural human behavior in this physical world.

私はこのプロジェクトをつくるにあたりリサーチをしていると、デジタルディバイドのジェネレーションギャップや使い方の格差によりモバイルアプリなどのデジタルデバイスを使えない人がこの世界にたくさんいると言う事を知りました。また、UXデザインのアイデアを探っている時には、レストランなどでメニューの注文の仕方を観察していると、メニューを自然に指差して注文しているカスタマーがいることに気が付きました。私たちがデジタルディバイドを持つデジタルリテラシーやスキルが低い人たちに歩み寄るには、この物理的な世界で人間が自然に行っているふるまいをデジタルにもできるだけ取り込むことではないかと考えています。またそれを実現できる可能性を秘めているのがAIという技術だと思います。将来、この物理的な世界での自然な人間のふるまいでも、柔軟に理解して動作できるデジタルデバイスがより増えることでデジタルディバイドの数が減少し、より公平な世界になることを望んでいます。

Date : 2024.05.15
My role: Art direction, UX Research, UX design, UI design, Motion design
Category : AI, UI/UX, Concept work, Branding, Design thinking

All voice sounds in the movies on this page are made in elevenlabs.