プレコンオフィシャルサイトはこちら 文部科学大臣賞
  • 文部科学大臣賞
    (最優秀賞)

    Theme 03
    あらゆるデータを活かして価値を最大化 学校のDX化を提案!
  • 左から
    佐々木 菜摘 Sasaki Natsumi
    専門学校神田外語学院 国際エアライン科 2年
    ホーリー カサンドラ Holly Casandra
    専門学校神田外語学院 国際エアライン科 2年

Good afternoon, my name is Natsumi Sasaki, and My name is Holly Casandra. We would like to begin our presentation now.

Holly Casandra
To begin with, did you know that around 15 percent of the world’s population has some type of disability?

In this era, digital technology like AI has greatly improved.
Now, it is not unusual to see 3D human avatars or holograms used in many areas of our daily life such as entertainment, online games, and even customer service.
We thought it would be amazing to create a hologram to help people with disabilities.

For this project, we decided to focus on people with deafness or those who are hard of hearing because 3D human avatars can move and do hand gestures and so we thought they could also perform sign languages.

Our goal is to create a better study environment for students who are hard of hearing or deaf.

To achieve this goal, we propose a holographic sign language generator for the classroom!

Sasaki Natsumi
Can you imagine what this percentage represents?

This is the percentage of deaf people in Japan. 0.36percent of the population or about 448,000 people are deaf.

Holly Casandra
Now, let’s take a look at this chart.

As we have just seen, in Japan, 0.36percent of people have hearing disabilities and this is shown in the red part of the chart.

However, people who are hard of hearing are not included in the "red part", and the light part of this circle is the estimated number of people who have hearing disabilities but do not own a disability certificate.
Which means, the actual number of people who are HoH & deaf is certainly more than 0.36 percent of the population.

Let’s take a look at Sweden for example. According to the Swedish government's statistical agency SCB, 14.1% of people over the age of 16 or about 1 in 7 have hearing disabilities which is shown in the graph.

Even though the population in Sweden is 10 times less than Japan, why is the number bigger?

Because in Sweden, there is no separation between people who are deaf and people who are hard of hearing.

Now some of you may be thinking, but it’s still a very small part of the community.

However, we think these people are overlooked and we strongly believe that they need and deserve more of our attention and support.

Sasaki Natsumi
I would now like to outline what we see as the current situation of deaf students in Japan.

As you can see in this table, according to data supplied by MEXT, the number of students that go to colleges/universities have increased little by little but steadily.

In fact, in the last 10 years, the number of deaf or Hard of hearing students attending universities has increased by about 1.4 times.

However, there are not enough sign language interpreters who can handle advanced academic subjects. With the increase of this number, schools need to provide an adequate amount of support and improve their learning environments even more.

Holly Casandra
These are some voices of college and university students who are Hard of Hearing or deafness.

For first student, it was difficult to obtain a qualification at the university she attended. She wasn't allowed to get a certain qualification because she had a disability. The classes that she could take were also limited.

Second student, she was supporting students with hearing disabilities as a note taker. However, the awareness of the staff of the Student Support Division, who organize note-takers, was low; she noticed the lack of support and attention from the university.

Sasaki Natsumi
For the third student, in the university that she went to, there were no note takers in all classes, and no voice recognition app was used. She was struggling to take the exam because she couldn’t understand the content that was only provided by oral explanation.

In fact, according to the Japan Student Support Organization, out of 1,170 schools, there are only 56 schools that provide sign language translation support and 148 schools that provide note taking support for deaf students which is far from enough.

Their voices motivated us to create something that would help them to be able to study more comfortably and hopefully expand their abilities and open up new opportunities for them.

What we came up with is a system called “iHearU”, a way to generate holographic sign language in the classroom or lecture theatre.

The special device will be a desktop portable 3D hologram generator.

Now, although, this system does not exist yet, the technology to create it does.

We will partner with a leading Holographic image producer called Euclideon and the best speech to text software developer called nuance dragon Nuance Communications.

Holly Casandra
Let me explain the functions:

In simple terms, this device will catch what the person says and translate it into sign language through a 3D human hologram.

Initially the sign language will be based on the standard sign language used in Japan.

First, you will open the iHearU app that is installed on your smartphone, make an account and pair it with your Hologram generator.

After it is paired and connected, the hologram image will appear from the exclusive device.

This device will catch the spoken words and translate it into sign language through a 3D hologram. In addition, it will also show the written words in English or Japanese in order to assist students who don't know how to read sign languages. Moreover, it may help them to learn grammar.

Now, can it also be used for output?

The answer is YES. With your smartphone, you can type what you want to say and the text will appear above the hologram

Sasaki Natsumi
We planed to include features such as automatic mode and manual mode.

In automatic mode, we can adjust the distance that we want and the device will only catch voices within the chosen distance automatically.

In manual mode , students can press the “listen” button on their own terms and timing.

These two modes are to prevent the devices from catching the “unnecessary voices”.

Maybe now some of you are wondering “what if new words are created?”

Our app will also include features that allow the user to register new words in sign language.

Holly Casandra
By having this app, students can communicate smoothly. Also, it will include all of the diverse students in one classroom. Therefore, it will allow them to be more interactive and creative.

Sasaki Natsumi
For the above functions, our app will contribute in achieving SDGs goals number 4 quality education ,10 reduced inequalities

Holly Casandra
This is our proposal for the digital transformation of schools. No more note takers, no more barriers due to disability, and the include all the diverse students in one classroom.

We want to make sure no one is left behind and our app, “iHearU”, will make it possible. Thank you for your time and attention

こんにちは、佐々木菜摘です。ホーリー・カサンドラです。
では、これからプレゼンテーションを始めさせていただきます。

ホーリー
最初に、みなさんは世界の人口の15%の人々がなんらかの障害を抱えていることをご存知ですか?

現代はAI(人工知能)など、デジタル技術が大いに発達しています。
3Dの人間のアバターやホログラムも珍しくなく、エンターテインメントやオンラインゲームさらには顧客サービスなど日常生活の幅広い領域で使われています。
私たちは、障害を抱える人々を助けるためにホログラムを生成できたら、なんてすごいことだろうと考えました。

このプロジェクトでは難聴や聴覚に障害がある人々に注目しました。その理由は人間のアバターは、動くことができ、手振りもできるので、手話もできるかもしれないと私たちは考えたのです。

私たちの目標は聴覚障害や難聴の学生にとって、より良い学習環境を創出することです。

この目標を達成するために、私たちは授業用のホログラフ式手話生成機を提案します。

佐々木
このパーセンテージが何を示しているか想像できますか?

これは日本における難聴の人々の割合です。人口の0.36%、約44万8,000人が難聴です。

ホーリー
このグラフをご覧ください。

ちょうど今、ご覧いただいたように日本では人口の0.36%が難聴であり、このグラフの赤い部分が相当します。

しかしながら、聞くことに困難を抱えている人々は赤い部分には含まれていません。この円グラフで薄い赤色の部分が聞くことに困難のある人々でありながらも障害者の認定を受けていない人々の数と見積もられています。

つまり、聴覚に障害がある人々や難聴の人々の実数は、人口の0.36%よりも多いことは確かなのです。

では、スウェーデンを見てみましょう。スウェーデン政府の統計局(SCB)によると、16歳以上の14.1%(約7人に1人)が聴覚に障害があることをこのグラフは示しています。

スウェーデンの人口は日本の1/10ほどですが、なぜ数が多いのでしょうか?

その理由は、スウェーデンには難聴と聴覚障害の区別がないからです。

小さなコミュニティに過ぎないじゃないかと思っている方もいるでしょう。

しかしながら、私たちはこれらの人々は見過ごされていると思い、かつ、当事者たちにはもっと多くの関心と支援が必要であると確信したのです。

佐々木
次に日本における難聴の学生たちの現状についての概要を説明したいと思います。

文部科学省のデータによると、この表にある通り、大学や短大に通う難聴や聴覚障害の学生数は少しずつ、ですが着実に増えています。

実際、この10年で大学に通学している難聴や聴覚障害の学生数は1.4倍に増えています。

しかしながら、より高度な学術科目に対応できる手話通訳者は十分にいません。

こういった学生の増加にともない、学校側は適切な量のサポートを行い、学習環境をさらに向上させなければなりません。

ホーリー
これは、聴覚障害や難聴の学生の証言です。

最初の学生については、彼女が通う大学では資格を取得するのは困難でした。障害があるという理由で、ある特定の資格を取得することは叶いませんでした。履修できる講義も限られていました。

2人目の学生は大学生で、彼女は記録係(ノートテイカー)として聴覚に困難のある学生たちをサポートしていました。しかしながら、記録係を取りまとめている学生支援課のスタッフ意識が非常に低く、彼女は大学からの支援と関心が欠如していることに気づきました。

佐々木
3人目の学生に関しては、彼女が通っていた大学に記録係が1人もおらず、音声認識アプリも使われていませんでした。彼女は定期試験でとても苦労しました。なぜなら、講義が口頭での説明のみで、内容を理解できなかったからです。

事実、日本学生支援機構によると、1,170の学校のうち、難聴の学生の支援は、わずか56校しか手話通訳のサポートをしておらず、記録係の支援も148校にとどまっており、まったく十分な状況ではありません。

こういった証言によって私たちは、聴覚に困難を抱える人々が快適に学び、自身の能力を高め、新たな機会を開くことができるよう何かをつくり出せないかと強く思いました。

そこで、私たちが発案したのは、「iHearU」というシステムです。教室や講義室でホログラフィックによる手話を生成する方法です。

この特別な装置はデスクトップの持ち歩き可能な3Dホログラム生成機です。

このシステムは、現在はまだ存在していませんが、それを実現するテクノロジーは存在しています。

私たちは、ホログラフィック映像制作を牽引するEuclideon社、音声を文字に変換するソフト開発のトップ企業であるnuance dragon社と提携し、このシステムを開発します。

ホーリー
機能の説明をいたします。

簡単に言えば、この装置は人が話した内容を認識し、3D人間型ホログラムによる手話へと翻訳します。

前提として、手話は日本で標準的な手話に基づきます。

まず第一に、スマートフォンにインストールしたiHearUのアプリを立ち上げ、アカウントを作成し、自分のホログラム生成機とペアリングします。

ペアリングして接続すると、ホログラムの映像が専用の装置に現れます。

この装置は話し言葉を認識し、3Dホログラムを通じて手話へと翻訳します。加えて、手話を理解できない学生を補助するために、日本語もしくは英語のテキストも表示します。さらに言えば、この装置は文法を学ぶのにも役立つのです。

アウトプットにも使えるのでしょうか?

答えはYESです。言いたいことをスマートフォンに打ち込めば、文字がホログラムに現れます。

佐々木
私たちはオートマチックモードとマニュアルモードといった機能も設けることにしました。

オートマチックモードでは、希望の距離を設定でき、選んだ距離の音声のみを自動的に認識します。

マニュアルモードでは、学生は自分の条件やタイミングで「聞く」ボタンを押すことができます。

こういった2つのモードは機器が「不必要な声」を認識してしまうことを防ぎます。

「新しい言葉が作られた場合はどうするのか?」と疑問に思う方もいることでしょう。

私たちのアプリには、ユーザーが手話で新しい言葉を登録できる機能もあります。

ホーリー
このアプリを持つことで、学生たちはスムーズにコミュニケーションすることができます。 また、すべての多様な学生が一つの教室で授業を受けることができます。 したがって、学生たちは、よりインタラクティブに、そしてクリエイティブになれるのです。

佐々木
上記の機能を備えることで、私たちのアプリはSDGsの目標4「質の高い教育をみんなに」と目標10「人や国の不平等をなくそう」の実現に貢献します。

ホーリー
以上が学校のデジタル化への私たちの提案です。

もう記録係は不要です。もう障害による壁も不要です。すべての多様な学生がひとつの教室でともに参加できるのです。

私たちは誰一人取り残したくはありません。そして私たちのアプリ「“iHearU”」は、それを実現するのです。

ご静聴ありがとうございました。

ページトップへ