マルチモーダルLLMの土台になるコンピュータビジョン書籍ガイド｜画像認識の基礎からVision Transformerまで4冊

LLMが画像を読めるようになって、業務側の使い道が一気に増えました。スキャンした帳票から項目を抜く、図面や現場写真の状態を判定させる、UIのスクリーンショットを見せて操作を続けさせる。どれも数年前なら専用のモデルを用意していた作業です。ところが実際に運用に乗せようとすると、同じ壁に当たります。ある画像では正しく読めるのに、別の画像では読めない。しかもなぜ読めないのかが分からないので、プロンプトを書き直す以外の打ち手が出てこない。この記事は、そこで効いてくる画像認識(コンピュータビジョン)の基礎を、実在の日本語書籍4冊で段階順に学ぶためのガイドです。扱うのは画像を入力として理解する側であり、画像生成の側は対象外とします。なお本記事は書籍紹介であり広告を含みます。価格・版・在庫・内容は変わるため、最新は各公式ページでご確認ください。

VLMが読めないとき、どこを疑えばよいか#

画像を読ませるタスクで結果が安定しないとき、多くのチームはまずプロンプトに手を入れます。出力形式を厳しく指定する、抽出項目を箇条書きにする、例を足す。これで直る問題も確かにあります。ただし、直らない問題も同じくらいあります。

分かりやすいのは、原因が画像側にある場合です。スキャンが傾いている、影が落ちてコントラストが潰れている、必要な文字が画像全体から見て極端に小さい、何度も圧縮を経てブロックノイズが乗っている。こうした画像に対して、プロンプトをいくら磨いてもモデルが見ているものは変わりません。逆に、傾きを補正して必要な領域だけ切り出し、文字が読める大きさで渡すだけで結果が変わることがあります。

この切り分けを自分でできるかどうかが、画像を扱うLLM開発では効いてきます。そして切り分けに必要な語彙は、LLM側ではなく画像認識側の分野にあります。VLMの仕組みそのものの整理は別記事で扱っているので、ここでは「画像側の知識がないと打ち手が減る」という点に絞って進めます。

VLMは画像をパッチに切って読んでいる#

まず、各社の公式ドキュメントが何を書いているかを見ておきます。細かい数値より、共通する発想のほうが重要です。

Anthropicの公式ドキュメントは、Claudeが画像をピクセルではなくパッチで見ると明記しています。1パッチは28x28ピクセルのブロックで、これが1ビジュアルトークンに相当します。画像のコストはceil(width/28) x ceil(height/28)ビジュアルトークンです。

Gemini APIのドキュメントでは、縦横とも384ピクセル以下の画像は258トークン、それより大きい画像は768x768ピクセルのタイルに分割され、タイルごとに258トークンを消費すると説明されています。1リクエストあたり最大3,600画像という上限も記載されています。

OpenAIのドキュメントでは、一部モデルの画像入力が32x32ピクセルのパッチ単位で計算され、original_patch_count = ceil(width/32) x ceil(height/32) となること、パッチ予算を超えると画像が比例縮小されることが説明されています。detailパラメータでlow(512x512にリサイズ)、high、original(gpt-5.4以降。大きく密で空間的に敏感な画像やcomputer use向け)、autoを選べます。

粒度も呼び方も3社で違います。「各社共通で何ピクセル」という一般化はできません。ただし発想は共通していて、画像を格子状の小片に切り、その小片の並びをモデルに渡しています。この考え方の直接の出典は、Vision Transformerの原論文「An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale」です。画像パッチの系列に純粋なTransformerを適用し、大規模事前学習後の転移で既存のCNNに対して計算効率よく好成績を出せることを示した論文で、arXivのv1投稿は2020年10月です。タイトルがそのまま「画像はパッチの並びとして言葉のように扱える」という主張になっています。

解像度・向き・圧縮という、画像側の変数#

パッチ単位で切るということは、画像の見え方が解像度に強く依存するということでもあります。

Anthropicのドキュメントには、解像度の上限が2段階あることが書かれています。標準ティアは長辺1568px・最大1568ビジュアルトークン、高解像度ティア(Claude 4.7以降)は長辺2576px・最大4784ビジュアルトークンで、上限を超えた画像はアスペクト比を保って縮小されます。1画像あたりの最大寸法は8000x8000px、最大サイズはClaude APIで10MB(base64)です。

制限事項の記載も具体的です。低品質な画像、回転している画像、200ピクセル未満の非常に小さい画像では誤りやすいこと、座標や位置特定の出力は近似であること、物体の個数の数え上げは特に小さい物体が多い場合に正確でないことが明記されています。画質面の指針として、重要な文字は読める大きさにすること、大きすぎる画像は縮小されて文字が読みにくくなりうるため事前にリサイズやクロップを検討すること、JPEGなどの非可逆圧縮はリクエストを軽くする一方で圧縮アーティファクトが精度を落としうること(特に多重圧縮)も挙げられています。

OpenAIのドキュメントも似た方向の注意を書いています。医療画像、非ラテン文字のテキスト、小さい文字、正確な空間的位置特定を要するタスク、グラフ、回転した画像、パノラマ画像が苦手として挙げられ、物体の個数は概算になりうると明記されています。

ここで並んでいるのは、どれもプロンプトでは解決しない項目です。傾き、コントラスト、二値化、ノイズ除去、リサイズ、トリミング、圧縮方式の選択。つまり古典的な画像処理の領域そのものです。VLMの登場でこの領域が不要になったのではなく、VLMに渡す前の一手間としてむしろ効き目が分かりやすくなった、というのが実務での感触に近いはずです。

画像認識の基礎がLLM実務のどこに効くか#

書籍を選ぶ前に、画像認識の主要な概念がVLM実務のどこに効くのかを対応づけておくと、目次を見たときの判断が速くなります。

具体例をひとつ。Gemini APIは物体検出のバウンディングボックスを[ymin, xmin, ymax, xmax]の形式で、0から1000に正規化した座標として出力します。セグメンテーション(輪郭マスク)にも対応しています。この仕様は、物体検出とセグメンテーションの区別、そして座標系の正規化という語彙を持っていれば数行で読めますが、持っていないと「4つの数字が返ってくる」以上の理解になりません。VLMに座標を出させて自動処理に繋ぐなら、この差はそのまま実装の質になります。

なお、公開されている研究の系譜としてはViTとCLIPがVLMの土台にありますが、商用モデルの内部構造は各社が公表していないため、特定の製品が何を使っているかは断定できません。CLIPの原論文「Learning Transferable Visual Models From Natural Language Supervision」は、4億件の画像とテキストのペアで学習し、自然言語を介して30以上のコンピュータビジョンタスクにゼロショット転移できることを示した論文です。画像と言葉を同じ土俵に乗せるという発想がどこから来たのかを知る意味では、こちらも押さえておく価値があります。

選書の軸を4段階で決める#

画像認識の本は、同じ棚に並んでいても層がまったく違います。実装しながら全体像を掴む本、画像そのものの扱いを網羅する本、ViTの中身を掘る本、理論体系を固める本。次の4段階のどこで詰まっているかを先に決めてから選ぶことをおすすめします。

4冊すべてを読む必要はありません。手を動かす入口が欲しいなら1、スキャン画像の前処理で困っているなら2、VLMの視覚側を知りたいなら3、腰を据えるなら4、という順で1冊を選び切るほうが確実です。

1. 実装しながら画像認識の全体像をつかむ(Pythonで学ぶ画像認識)#

最初の1冊は、画像認識の主要タスクをPythonの実装とともに一続きで扱う入門書です。インプレスの機械学習実践シリーズの1冊で、著者は田村雅人氏と中村克行氏。2023年3月22日発売、352ページ、B5変形判、ISBN 9784295015994、定価3,850円(本体3,500円+税10%)です。

目次は、第1章で画像認識とは何かを整理し、第2章で画像処理の基礎知識、第3章で深層学習を使う準備、第4章で画像分類、第5章で物体検出、第6章で画像キャプショニングという構成です。基礎知識から始めて、分類、検出、キャプショニングへと段階的に進みます。ソースコードと正誤表は著者のGitHubリポジトリ(py-img-recog/python_image_recognition)で公開されています。

LLM実務の観点で価値が高いのは、第5章と第6章だと考えられます。物体検出を実装すると、IoUや非最大抑制(NMS)といった語彙が自然に入ります。VLMに座標を出させたときに、その出力をどう検証すればよいか、どこまでのずれを許容するかという設計は、この語彙がないと組めません。第6章の画像キャプショニングは、画像を言語に接続するという発想そのもので、VLMの前史にあたる題材です。いま自分が使っている機能が、どういう研究の流れの上にあるのかが体感として分かります。

一方で向かない人もいます。数式で理論を詰めたい人には物足りない構成です。また、VLMやLLMのAPI利用は主題ではなく、刊行時期の関係でGPT-4V以降の商用VLMの運用も扱いません。あくまで、画像認識というタスク群の輪郭を実装込みで掴むための本です。

Pythonで学ぶ画像認識 機械学習実践シリーズ(インプレス)

広告

著者: 田村雅人、中村克行 / 出版社: インプレス / 2023年3月22日発売 / 352ページ / B5変形判 / 定価3,850円(税込)。画像処理の基礎知識から、深層学習の準備、画像分類、物体検出、画像キャプショニングまでを実装込みで進みます。サンプルコードはGitHubで公開。画像認識のタスクの区別と評価の語彙を、手を動かしながら入れたい人に向いています。理論を数式で詰める本ではなく、商用VLMの運用も扱いません。

Amazonで見る楽天で見るYahoo!ショッピングで見る

※価格・在庫は変動します。最新の情報は各販売サイトでご確認ください。

2. 画像そのものの扱いと前処理を押さえる(ディジタル画像処理[改訂第二版])#

2冊目は、画像処理の手法をリファレンスとして網羅する定番書です。CG-ARTS(公益財団法人 画像情報教育振興協会)が編集・発行しており、B5判フルカラー480ページ、ISBN 978-4-903474-64-9、印刷版の定価は4,290円(本体3,900円)。CG-ARTS公式ページの表記では最新版は第二版三刷で、発行日は2024年8月26日です。画像処理エンジニア検定エキスパートの対応書籍でもあります。

章立ては全17章と付録という構成です。イントロダクション、ディジタル画像の撮影、画像の性質と色空間、画素ごとの濃淡変換、領域に基づく濃淡変換、周波数領域におけるフィルタリング、画像の復元と生成、幾何学的変換、2値画像処理、領域処理、パターン・図形・特徴の検出とマッチング、パターン認識、深層学習による画像認識と生成、動画像処理、画像からの3次元復元、光学的解析とシーンの復元、画像符号化と並びます。付録には画像処理の歴史、数学的基礎、画像入力、画像出力、規格、知的財産権が収録されています。

VLM実務でこの本が効くのは、まさに前処理の場面です。スキャン帳票の傾きをどう補正するか(第8章の幾何学的変換)、コントラストをどう調整するか(第4章・第5章)、ノイズをどう落とすか(第5章・第6章)、二値化をどの手法で行うか(第9章)、圧縮方式が何を捨てているのか(第17章)。公式ドキュメントが「回転している画像は誤りやすい」「多重圧縮は精度を落としうる」と書いているとき、その対処を手法名で選べるかどうかがこの本の有無で変わります。第3章の色空間は、スクリーンショットや図面のように色数が限られた画像を扱うときにも効きます。

短所も明確です。通読向きではなくリファレンス寄りで、頭から読み通そうとすると重い本です。深層学習は第13章の1章分で、ViTやVLMを掘るための本ではありません。またPythonの実装コード集ではないため、手を動かしながら学びたい場合は1冊目や他の実装本と組み合わせることになります。

ディジタル画像処理[改訂第二版](CG-ARTS)

広告

編集・発行: CG-ARTS(公益財団法人 画像情報教育振興協会) / B5判フルカラー480ページ / ISBN 978-4-903474-64-9 / 印刷版定価4,290円(税込) / 最新版は第二版三刷(2024年8月26日発行)。濃淡変換、空間フィルタ、周波数領域のフィルタリング、幾何学的変換、2値画像処理、領域処理、特徴の検出とマッチングまでを網羅し、第13章で深層学習による画像認識と生成も扱います。VLMに渡す前の前処理を手法名で選びたい人向けのリファレンスです。通読向きではなく、深層学習の掘り下げも1章分にとどまります。

Amazonで見る楽天で見るYahoo!ショッピングで見る

※価格・在庫は変動します。最新の情報は各販売サイトでご確認ください。

3. VLMの視覚側の中身を知る(Vision Transformer入門)#

3冊目は、Vision Transformerを主題にした日本語書籍です。技術評論社のComputer Vision Libraryシリーズの1冊で、監修は片岡裕雄氏、著者は山本晋太郎氏、徳永匡臣氏、箕浦大晃氏、邱玥(QIU YUE)氏、品川政太朗氏。2022年9月17日発売(電子版は9月15日)、272ページ、B5変形、ISBN 978-4-297-13058-9、定価3,520円(本体3,200円+税10%)です。

章立ては、第1章でTransformerからVision Transformerへの進化を追い、第2章でViTの基礎と実装(Input Layer、Self-Attention、Encoderと実装)、第3章で実験と可視化によるViTの探求、第4章でコンピュータビジョンタスクへの応用、第5章でVision and Languageタスクへの応用(VQA、Image Captioning、Embodied AI)、第6章でViTの派生手法(Swin Transformer、DeiT、CvT、SegFormer、TimeSformer、MAE)、第7章と第8章でTransformerとViTの謎を読み解く、という構成です。

LLM実務者にとっての実利は明確です。第2章で扱うInput Layer(パッチ分割と位置埋め込み)は、各社APIのトークン計算がなぜあの形になっているのかを説明してくれる部分です。Self-AttentionとEncoderの構造は、LLM側で既にTransformerを知っている人なら、視覚側との対応関係として一気に理解が進みます。第5章のVision and Languageは、まさにVLMが立っている土台です。第8章のViTとCNNとMLPの特性比較は、自前の軽量モデルで済ませるか商用VLMを呼ぶかという判断の材料になります。

制約もあります。2022年9月刊のため、GPT-4V以降の商用VLMや、その後に出た派生モデルは扱いません。この本で得られるのは製品知識ではなく、視覚側のアーキテクチャの見取り図です。またTransformerの基本を知らないと第2章で詰まります。LLMの仕組みを先に押さえてから読むほうが読みやすいはずです。

Vision Transformer入門(技術評論社)

広告

監修: 片岡裕雄 / 著: 山本晋太郎、徳永匡臣、箕浦大晃、邱玥(QIU YUE)、品川政太朗 / 出版社: 技術評論社(Computer Vision Library) / 2022年9月17日発売 / 272ページ / B5変形 / 定価3,520円(税込)。パッチ分割・Self-Attention・Encoderの実装から、可視化による探求、Vision and Languageタスク、Swin TransformerやMAEなどの派生手法までを扱います。VLMの視覚側で何が起きているかを知りたい人向けです。2022年刊のため、その後の商用VLMの運用は対象外です。

Amazonで見る楽天で見るYahoo!ショッピングで見る

※価格・在庫は変動します。最新の情報は各販売サイトでご確認ください。

4. 理論を体系で固める(画像認識 / 機械学習プロフェッショナルシリーズ)#

4冊目は、画像認識の理論を体系立てて扱う教科書です。講談社の機械学習プロフェッショナルシリーズの1冊で、著者は原田達也氏。2017年5月刊、A5判288ページ、ISBN 978-4-06-152912-0、定価3,630円(本体3,300円)です。

章立ては、第1章で画像認識の概要、第2章で局所特徴、第3章で統計的特徴抽出、第4章でコーディングとプーリング、第5章で分類、第6章で畳み込みニューラルネットワーク、第7章で物体検出、第8章でインスタンス認識と画像検索、第9章でさらなる話題(セマンティックセグメンテーション、画像からのキャプション生成、画像生成と敵対的生成ネットワーク)という流れです。手作業で設計した特徴量の時代から深層学習までを、断絶させずに一本の線で辿る構成になっています。

LLM実務で意外に効くのは、第8章のインスタンス認識と画像検索です。画像を特徴ベクトルに変換して類似したものを引く、という処理はマルチモーダルRAGの土台にあたります。埋め込みが何を「近い」と判断しているのかを推測できるかどうかは、画像検索の精度が出ないときの打ち手に直結します。第2章から第4章にかけての特徴量の設計思想も、深層学習が何を自動化したのかを理解する助けになります。

向かない人もはっきりしています。2017年刊でViT以前の本のため、Transformer系は扱いません。数式の密度が高く、線形代数と確率の基礎がないと相当重い読書になります。実装本でもありません。すぐ業務に使える手順を探しているなら、この本は後回しでよいはずです。

画像認識(機械学習プロフェッショナルシリーズ / 講談社)

広告

著者: 原田達也 / 出版社: 講談社(機械学習プロフェッショナルシリーズ) / 2017年5月刊 / A5判288ページ / 定価3,630円(税込)。局所特徴、統計的特徴抽出、コーディングとプーリング、分類、畳み込みニューラルネットワーク、物体検出、インスタンス認識と画像検索までを教科書の順序で扱います。画像検索やマルチモーダルRAGの土台を理論から固めたい人向けです。ViT以前の刊行でTransformer系は扱わず、数式の密度は高めです。

Amazonで見る楽天で見るYahoo!ショッピングで見る

※価格・在庫は変動します。最新の情報は各販売サイトでご確認ください。

4冊の使い分けと読む順序#

役割と刊行年の対応表です。刊行年はそのまま「ViT以後・VLM以後をどこまで含むか」の目安になります。

1冊だけ選ぶなら#

実装から入りたいなら1冊目です。分類・検出・キャプショニングという区別と、それぞれの評価の考え方が手を動かしながら入るため、投資対効果が読みやすい選択になります。

スキャン帳票や現場写真の精度で困っているなら2冊目です。前処理は最も効き目が確認しやすい領域で、しかも手法名を知らないと選択肢が挙がりません。

VLMの中身を理解したいなら3冊目です。API仕様のパッチ計算や座標出力を、構造から納得して読めるようになります。

腰を据えて基礎を固めるなら4冊目です。ただし時間がかかるため、目の前の案件を進めながら並行して読む本ではありません。

書籍だけでは埋まらない部分#

画像処理と画像認識は、理論部分が比較的安定した分野です。濃淡変換もIoUも数年で消える知識ではありません。一方で、各社VLMのトークン計算・解像度上限・座標系の仕様は改定されます。書籍の記述と現行の実装が食い違う部分は、必ず一次情報で埋める必要があります。

本記事に記載した書名・著者・監修者・出版社・刊行時期・ページ数・判型・ISBN・定価・目次は、各出版社およびCG-ARTSの公式書誌ページ(frontmatterのsources)で確認できた範囲の情報です。版・価格・在庫・目次は改定されるため、購入前に各公式ページで最新情報をご確認ください。各書籍の「扱っていない範囲」の記述は、公開されている目次と発行元の内容紹介から判断できる範囲の整理であり、本文全体を網羅的に検証したものではありません。各社VLMのトークン計算・解像度上限・制限事項は、2026年8月時点の公式ドキュメントに基づく内容で、モデルやバージョンによって変わります。商用モデルの内部構造は各社が公表していないため、特定製品が特定のアーキテクチャを採用しているという断定はしていません。

読んだ内容をVLM実務に落とす最初の一歩#

本を読んだ直後に前処理パイプラインを作り込もうとすると、たいてい手が止まります。効果を判定する仕組みを先に用意し、安い調整から順に試すのが現実的です。

この順序は、評価を先に作るという情報検索や機械学習で共通の原則を、画像入力の文脈に置き換えたものです。書籍の価値は、各ステップで何を確認すべきかを経験則ではなく根拠を持って選べるようになる点にあります。

VLMに向かない場面を先に決めておく#

各社の公式ドキュメントが明記している弱点は、そのまま設計制約として扱うのが安全です。定型帳票の大量処理は、様式が固定されているなら専用の文書処理APIのほうが安定してコストも読めます。ミリ単位の位置特定は、座標出力が近似であると明記されている以上、そのまま自動処理に繋ぐべきではありません。物体の個数の正確な数え上げも同様です。極端に小さい文字は、拡大やトリミングで解決できないなら、そもそも渡し方を変える必要があります。

よくある質問#

まとめ#

VLMが画像を読み違えたとき、原因はプロンプトだけにあるとは限りません。傾き、解像度、圧縮、必要な領域が画像全体に対してどれくらいの大きさか。こうした画像側の変数は、各社の公式ドキュメントが自ら弱点として挙げている項目とほぼ重なります。裏を返せば、対処の余地が公式に示されているということでもあります。

今回紹介した4冊は守備範囲が異なります。実装で全体像を掴む本、前処理の手法を引ける本、ViTの構造を知る本、理論を固める本。どれも「これ1冊でVLMの精度が上がる」種類の本ではなく、どこが分かっていないのかを明確にしてくれる本だと捉えるほうが実態に近いはずです。

まずは詰まっている段階に対応する1冊を選び、並行して正解付きの画像を数十枚集めるところから始めてみてください。前処理を変えた効果も、解像度とコストの釣り合いも、測れるようになった瞬間から判断できるようになります。VLMの性能に振り回されている状態から、VLMを条件付きで使いこなす状態へ移るための最短経路は、そこにあると考えられます。