Android はあらゆる画像を分析し、それを説明できるようになりました - その仕組みは次のとおりです

Android スマートフォンやデバイスで利用できるユーザー補助アプリケーションである Google Lookout は、目の見えない人や視覚障害のある人を支援するように設計された機能を提供します。このハウツー ガイドでは、画像コンテンツをよりインタラクティブかつ詳細に理解できるようにすることでユーザー エクスペリエンスを向上させる機能である Lookout Image Q&A について説明します。

これは Lookout の機能の 1 つにすぎません。このアプリには、周囲に関する音声フィードバックを提供し、テキストの読み取り、食品ラベルのスキャン、紙幣の認識などのタスクの実行に役立つツールのコレクションが含まれています。

Google Lookout Image の使用は簡単なプロセスです。画像をアップロードするか開くと、アプリの AI がビジュアル コンテンツに関する説明を生成します。ただし、Image Q&A の導入により、新しい機能層が導入されます。この機能を使用すると、画像内の要素についてフォローアップの質問をして、画像の特定の側面についてより微妙な理解と回答を得ることができます。

このステップバイステップのガイドでは、これがどのように機能するかを見ていきます。

Google Lookout画像の使い方Q&A

Google Look Out Image Q&A は Android バージョン 6 以降で利用でき、現在ベータ版です。

1. Lookout アプリをインストールして開きます

（画像：©Future）

Google Lookout を使用するには、まずPlay ストアからアプリをダウンロードし、スマートフォンにインストールする必要があります。初めてアプリを開くと、「Lookout へようこそ」ページが表示され、その機能の簡単な説明が表示されます。読み終わったら、[次へ] を選択します。

2.利用規約に同意する

（画像：©Future）

開始する前に、使用情報と同意契約に同意する必要があります。条件に満足する場合は、[同意する] を選択します。

3. メニューから「画像」を選択します

（画像：©Future）

画面左上の三本線のメニューアイコンを選択します。メニュー オプションは、テキスト、ドキュメント、探索、通貨、食品ラベル、および画像です。「画像」を選択します。

4. 画像を選択します

（画像：©Future）

次の画面で、[画像の選択] を選択します。携帯電話に保存されている写真やその他のアプリから写真を選択できます。

5. 画像の説明

（画像：©Future）

画像の説明をテストするために、携帯電話に保存した写真から自分の写真をアップロードしました。

Lookout によって生成される画像の説明は次のとおりです。

「この写真では、人が立っているのがわかります。その横に木製の物体があり、その後ろには機械とその他の物があり、その上に文字を書く茶小屋があります。立っている人がいます」彼らは何かを持っており、その後ろには植物や旗があり、その背景には空があります。

人物: たぶん 1 人です。 

人物 1: 大人。

詳細: ツリー、ドレス

文：ティーシャック」

この説明は完璧ではありません。Lookout は背景に別の人がいることに気づかず、写真には空が見えていないにもかかわらず、空について言及しています。（白い建物があるので分かりにくいかもしれません。）

しかし、これは非常に忙しい写真であり、Lookout は主な特徴をすべて見つけることができました。それは、木々や旗を背景にした木製の茶小屋の隣にドレスを着た人が立っているということです。 

6. 質問を話してください

（画像：©Future）

さて、楽しい部分に移りましょう。Lookout に追加の質問をします。これを行うには 2 つの方法があります。1 つ目は、単純に大声で質問することです。

これを行うには、マイク アイコンの横にある[質問を話す] を選択し、質問します。私は「そのドレスは何色ですか？」と尋ねました。するとLookoutは、私が写真で着ているドレスはネイビーブルーだと正確に答えてくれました。

画面右下のマイクアイコンを選択すると、質問を続けることができます。

7. 質問を入力します

（画像：©Future）

質問する 2 番目の方法は、テキスト ボックスに質問を入力することです。「その人は笑っていますか？」という質問を入力しました。すると見張りは「はい、その人は笑っているように見えます」と答えた。（確かに、写真の中では私は笑っています。）

繰り返しますが、テキスト ボックスにさらに質問を入力することで、好きなだけ質問を続けることができます。

Q&A セッション中、テキスト ボックスとマイクのアイコンはページの下部に残るため、必要に応じて 2 つの方法を切り替えることができます。

Q&A セッションを終了するには、画面左上の戻る矢印を選択します。

Lookout の画像機能はまだ開発中ですが、その AI は、より多くの人が使用するにつれて改善され、質問への最適な応答方法を学習します。今後のアップデートで動作の改善が期待されます。

とはいえ、現時点ではまだかなりうまく機能しています。質問に対しては迅速かつ正確に答えてくれます。説明で使用されている言語は明瞭で、人間と話しているようには聞こえませんが、それでも自然な雰囲気があります。

現在のベータ版であっても、実際に必要な情報を提供するパーソナライズされたインタラクティブなサービスを提供する、視覚に制限のある人にとって価値のあるツールです。

Android スマートフォンの写真で他に何ができるかを知りたい場合は、Google フォトの最良の代替手段、Google Pixel でハンズフリー写真を撮る方法、Google Pixel 8 Pro の AI 写真編集に関する記事をご覧ください。 。