データ拡張とは| Ibm

データ拡張とは| IBM データ拡張とは 共同執筆者 Jacob Murel Ph.D. Senior Technical Content Creator Eda Kavlakoglu Business Development + Partnerships IBM Research データ拡張とは データ拡張では、既存のデータを使用して、モデルの最適化と一般化可能性を向上させる新しいデータ・サンプルを作成します。 最も一般的な意味において、データ拡張とは、 データ・セット の分析可能性を高めるために、欠落しているデータ・ポイントを提供することで、いわゆる不完全なデータ・セットを補完する方法を指します。 1 これは、 機械学習 において、データ・セットのサイズと多様性を増やすために既存のデータの変更されたコピーを生成するという方法に表れています。したがって、機械学習に関しては、拡張データは、実在しない可能性があるデータを人工的に供給するものとして理解することができます。 データ拡張により、機械学習モデルの最適化と一般化が向上します。言い換えれば、データ拡張により、 過剰適合 を減らし、モデルの頑健性を向上させることができます。 2 大規模で多様なデータ・セットがモデルの性能を向上させるというのは、機械学習の公理です。それにもかかわらず、 倫理 や プライバシー の懸念をはじめ、単に必要なデータを手作業でまとめるには手間がかかるといったさまざまな理由で、十分なデータを取得することが難しい場合があります。データ拡張は、データ・セットのサイズと変動性を増やす効果的な手段の1つです。実際、研究者は不均衡なデータ・セットを修正するためにデータ拡張を広く使用しています。 3 PyTorch、Keras、Tensorflowなどの多くのディープラーニング・フレームワークは、データ（主に画像データ・セット）を拡張するための機能を提供しています。 Pythonパッケージ、 Ablumentations （Githubで入手可能）も、多くのオープンソース・プロジェクトで採用されています。Albumentationsは、画像やテキスト・データを拡張できます。 拡張データと合成データの比較 データ拡張は合成データとは異なることに注意してください。確かに、どちらも機械学習モデルの性能を向上させるために、データ・コレクションに新しいデータを追加する 機械学習モデル です。 ただし、合成データは、完全に人工的なデータを自動的に生成することを指します。物体検出モデルの学習に、実世界のデータではなく、コンピューターで生成した画像を使用するといった例があります。対照的に、データ拡張は既存のデータをコピーし、それらのコピーを変換することで、与えられたセット内のデータの多様性と量を増やします。 IBMニュースレター The DX Leaders AI活用のグローバル・トレンドや日本の市場動向を踏まえたDX、生成AIの最新情報を毎月お届けします。登録の際は IBMプライバシー・ステートメント をご覧ください。 ご登録いただきありがとうございます。 ニュースレターは日本語で配信されます。すべてのニュースレターに登録解除リンクがあります。サブスクリプションの管理や解除は こちら から。詳しくは IBMプライバシー・ステートメント をご覧ください。 データ拡張の技法 データ拡張の方法にはさまざまな種類があります。データを拡張するために使用される具体的な技法は、ユーザーが扱うデータの性質によって異なります。データ拡張は通常、トレーニング・データ・セットの前処理中に実装されることに注意してください。検証セットやテスト・セットでの拡張の効果を調査した研究もありますが、トレーニング・セット以外での拡張の適用はめったにありません。 4 画像拡張 データ拡張は、画像分類から 物体検出 まで、さまざまな コンピューター・ビジョン ・タスクの研究で広く実装されています。そのため、画像処理における最先端の 畳み込みニューラル・ネットワーク （CNN）のパフォーマンスを拡張画像がどのように向上させるかについて数多くの研究が行われています。 多くのチュートリアルや非学術的リソースは、画像データ拡張を幾何学変換と測光（または色空間）変換という2つのカテゴリーに分類しています。どちらも比較的単純な画像ファイル操作で構成されています。幾何学変換というカテゴリーは、サイズ変更、ズーム、向きの変更（水平反転など）など、元の画像のスペースやレイアウトを変更する技法を指します。測光変換は、画像のRGB（赤、緑、青）チャンネルを変更します。測光変換の例としては、彩度調整や画像のグレースケール処理などがあります。 5 ソースによって、ノイズ注入を幾何学的変換と分類するものもあれば 6 、測光変換と分類するものもあります。 7 ノイズ注入は、ガウス分布に従ってランダムな黒、白、または色のピクセルを画像に挿入します。 ノイズ注入が示すように、画像拡張技法を幾何学的なものと測光的なものに二分するだけでは、可能な拡張戦略のすべての範囲をカバーすることはできません。その他の画像拡張技法は、カーネル・フィルタリング（画像をシャープにしたり、ぼかしたりすること）と画像混合です。後者の例としては、ランダムなトリミングやパッチがあります。この技法では、複数の画像からランダムにセクションをサンプリングして、新しい画像を作成します。この新しい画像は、入力画像のサンプリングされたセクションから作成された複合画像です。関連する技法として、画像のランダムな部分を削除するランダム消去があります。 8 実際のユースケースでは、機械が部分的に隠された物体を識別する必要があるかもしれないため、このようなタスクは画像認識タスクに役立ちます。 別の拡張として、インスタンスレベルの拡張があります。インスタンスレベルの拡張は、基本的に、ある画像からラベル付けされた領域（例えば、バウンディング・ボックス）をコピーして、別の画像に挿入します。このようなアプローチは、異なる背景の物体や他の物体によって隠された物体を識別するために画像をトレーニングします。インスタンスレベルの拡張は、物体検出や画像セグメンテーション・タスクのような領域固有の認識タスクに特に有効なアプローチです。 9 テキスト拡張 画像拡張と同様に、テキスト・データ拡張は、さまざまな 自然言語処理 （NLP）タスクで使用される多くの技法と手法で構成されています。いくつかのリソースでは、テキスト拡張がルールベース（または「簡単な」）手法とニューラル手法に分けられています。もちろん、画像拡張技法の二分法と同様、この分類はすべてをカバーしているわけではありません。 ルールベースのアプローチには、ランダム削除や挿入のような、比較的単純な検索と置換の技法が含まれます。ルールベースのアプローチには、同義語の置き換えも含まれます。この戦略では、文字列内の1つまたは複数の単語が、WordNetやParaphrase Databaseなどの事前に定義されたシソーラスに記録されているそれぞれの類義語に置き換えられます。目的語と主語が入れ替わる文の倒置や受動態も、ルールベースのアプローチの例です。 10 分類によると、ニューラル法は、ニューラル・ネットワークを使用して、入力データから新しいテキスト・サンプルを生成します。注目すべきニューラル手法の1つに、バックトランスレーション（逆翻訳）があります。これは、機械翻訳を使用して入力データをターゲット言語に翻訳し、次に元の入力言語に戻します。このように、バックトランスレーションは、自動翻訳の結果として生じる言語的な差異を利用して、拡張を目的とした単一言語データ・セットの意味的な差異を生成します。研究によると、機械翻訳モデルの性能を向上させるには、この方法が効果的であることが示されています。 11 Mix-Upテキスト拡張も戦略の1つです。このアプローチでは、ニューラル・ネットワークの埋め込みを利用したルールベースの削除と挿入の手法をデプロイします。具体的には、事前学習をするトランスフォーマー（例えば、BERT）は、テキストの単語または文レベルの埋め込みを生成し、 bag of words モデルのように、テキストをベクトル・ポイントに変換します。テキストをベクトル・ポイントに変換することは、一般に言語的な類似性を捉えることを目的としています。つまり、ベクトル空間内で互いに近い単語や文は、似たような意味や頻度を共有していると考えられます。Mix-up拡張は、指定された距離内にあるテキスト文字列を補間して、入力データの集合体である新しいデータを生成します。 12 IBMお客様事例 お客様のビジネス課題（顧客満足度の向上、営業力強化、コスト削減、業務改善、セキュリティー強化、システム運用管理の改善、グローバル展開、社会貢献など）を解決した多岐にわたる事例のご紹介です。 事例を見る 最近の研究 多くのユーザーは、どのデータ拡張戦略を実装するべきかを見極めるのに苦労しています。データ拡張技法はデータ・セットとタスクの間で有効性が異なるのでしょうか。データ拡張技術に関する比較研究によると、1つの拡張よりも複数の拡張の方がプラスの影響が大きいことが示唆されています。一方、技法の最適な組み合わせの判断は、データ・セットとタスクに依存します。 13 では、最適な技法を選択するにはどうすればよいのでしょうか。 自動拡張 この問題に取り組むために、研究では自動データ拡張に目を向けています。自動拡張アプローチの1つは、 強化学習 を使用して、与えられたデータ・セットで最高の検証精度を返す拡張技法を特定します。 14 このアプローチは、サンプル内とサンプル外のデータの両方でパフォーマンスを向上させる戦略を実装することを示しています。 15 自動拡張のもう1つの有力なアプローチは、分類器の出力から偽陽性を識別して拡張することです。このようにして、自動拡張は、頻繁に誤分類される項目を修正するための最適な戦略を特定します。 16 生成ネットワーク 最近の研究では、タスク依存 17 やクラス依存 18 の最適な拡張戦略を特定するために、生成ネットワークやモデルが注目されています。これには敵対的生成ネットワーク（GAN）を使った研究も含まれます。GANは、合成データを生成するために一般的に使用される ディープラーニング ・ネットワークであり、最近の研究では、データ拡張へのGANの利用が調査されています。例えば、いくつかの実験では、医用画像セットの合成データ拡張が、従来の拡張よりも分類 19 およびセグメンテーション 20 ・モデルの性能を向上させることが示唆されています。これに関連して、テキスト拡張の研究では、 大規模言語モデル （LLM）と チャットボット を活用して、拡張データを生成しています。これらの実験では、LLMを使用して、Mix-upおよびSynonymizing技法を使用して入力データの拡張サンプルを生成しています。これは、従来の拡張と比べてテキスト分類モデルに大きなプラスの影響があることを示しています。 21 研究者や開発者は、さまざまな機械学習タスクのモデルをトレーニングする際に、データ拡張技法を広く採用しています。対照的に、合成データは比較的新しい研究分野です。合成データと実データの比較実験では、結果はまちまちで、合成データのみでトレーニングしたモデルが、実データでトレーニングしたモデルを上回ることもあれば、下回ることもあります。当然のことながら、この研究は、合成データが実世界のデータの特徴を反映しているときに最も有用であることを示唆しています。 22 コピーされたリンク 電子書籍 データ・リーダーのためのデータサイエンスとMLOps 他のリーダーと協力して、MLOpsと信頼できるAIの3つの重要な柱、すなわちデータへの信頼、モデルへの信頼、プロセスへの信頼を推進しましょう。 電子書籍を読む 参考情報 トレーニング AIの専門知識のレベルアップを図る ハンズオン・ラボ、コース、指導付きプロジェクト、トライアルなどで、基本的な概念を学び、スキルを身につけていただけます。 MLコースはこちら 電子書籍 生成AI + MLの力を解き放つ 生成AIと機械学習をビジネスに活用する確実な方法を学びましょう。 電子書籍を読む Techsplainersポッドキャスト 機械学習の説明 IBMのTechsplainersは、主要な概念から実際のユースケースまで、機械学習の要点を詳しく説明します。明快で短いエピソードで、基礎をすばやく学ぶことができます。 今すぐ視聴する ガイド AIの活用を本格化：生成AIでROI向上 AIの投資対効果を高めるために、主要な分野で生成AIの活用を拡大することで、どのように革新的な新規ソリューションの構築、提供を支援し、変化をもたらすかを紹介します。 ガイドを読む 電子書籍 適切な基盤モデルを選ぶ方法 ユースケースに最適なAI基盤モデルを選択する方法について説明します。 電子書籍を読む AIモデル IBM Graniteはこちら IBM Graniteは、ビジネス向けにカスタマイズされ、AIアプリケーションの拡張に合わせて最適化された、オープンで高性能、かつ信頼性の高いAIモデル・ファミリーです。言語、コード、時系列、ガードレールのオプションをご覧ください。 Graniteの紹介 ガイド AIの新時代に信頼と自信を持って成功する方法 強力なAIストラテジーの3つの重要な要素である、競争優位性の創出、ビジネス全体へのAIの拡張、信頼できるAIの推進について詳しく説明します。 ガイドを読む 関連ソリューション IBM watsonx.ai AI開発者向けの次世代エンタープライズ・スタジオであるIBM watsonx.aiを使用して、生成AI、基盤モデル、機械学習機能をトレーニング、検証、チューニング、導入しましょう。わずかなデータとわずかな時間でAIアプリケーションを構築できます。 watsonx.aiをご覧ください。 人工知能ソリューション 業界をリードするIBMのAI専門知識とソリューション製品群を使用すれば、ビジネスにAIを活用できます。 AIソリューションはこちら AIコンサルティングとサービス AIの導入で重要なワークフローと業務を再構築し、エクスペリエンス、リアルタイムの意思決定とビジネス価値を最大化します。 AIサービスはこちら 次のステップ AI開発ライフサイクル全体にわたる機能にワンストップでアクセスできます。使いやすいインターフェース、ワークフロー、業界標準のAPIやSDKを利用して、強力なAIソリューションを構築できます。 watsonx.aiの詳細はこちら デモを予約 脚注 すべてのリンク先は、ibm.comの外部です。 f Martin TannerとWing Hung Wong、「The Calculation of Posterior Distributions by Data Augmentation」、 「Journal of the American Statistical Association」誌 、Vol.82、No. 398（1987年）、528～540ページ。 2 Sylvestre-Alvise Rebuffi, Sven Gowal, Dan Andrei Calian, Florian Stimberg, Olivia Wiles, and Timothy A Mann, “ Data Augmentation Can Improve Robustness ,” Advances in Neural Information Processing Systems, Vol. 34, 2021. 3 Manisha Saini and Seba Susan, “ Tackling class imbalance in computer vision: A contemporary review,” Artificial Intelligence Review , Vol. 54, 2023. 4 Fabio Perez, Cristina Vasconcelos, Sandra Avila, and Eduardo Valle, “ Data Augmentation for Skin Lesion Analysis ,” OR 2.0 Context-Aware Operating Theaters, Computer Assisted Robotic Endoscopy, Clinical Image-Based Procedures, and Skin Image Analysis, 2018. 5 Connor Shorten and Taghi M. Khoshgoftaa, “ A survey on Image Data Augmentation for Deep Learning ,” Journal of Big Data , 2019. 6 Duc Haba、 Data Augmentation with Python 、Packt Publishing社、2023年。 7 Mingle Xu, Sook Yoon, Alvaro Fuentes, and Dong Sun Park, “ A Comprehensive Survey of Image Augmentation Techniques for Deep Learning ,” Patter Recognition , Vol. 137. 8 Connor Shorten and Taghi M. Khoshgoftaa, “ A survey on Image Data Augmentation for Deep Learning ,” Journal of Big Data , 2019, . Terrance DeVries and Graham W. Taylor, “ Improved Regularization of Convolutional Neural Networks with Cutout ,” 2017. 9 Zhiqiang Shen, Mingyang Huang, Jianping Shi, Xiangyang Xue, and Thomas S. Huang, “ Towards Instance-Level Image-To-Image Translation ,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 3683-3692, . Golnaz Ghiasi, Yin Cui, Aravind Srinivas, Rui Qian, Tsung-Yi Lin, Ekin D. Cubuk, Quoc V. Le, and Barret Zoph, “ Simple Copy-Paste Is a Strong Data Augmentation Method for Instance Segmentation ,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 2918-2928. 10 Connor Shorten, Taghi M. Khoshgoftaar and Borko Furht, “ Text Data Augmentation for Deep Learning ,” Journal of Big Data , 2021, . Junghyun Min, R. Thomas McCoy, Dipanjan Das, Emily Pitler, and Tal Linzen, “ Syntactic Data Augmentation Increases Robustness to Inference Heuristics ,” Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020, pp. 2339-2352. 11 Connor Shorten, Taghi M. Khoshgoftaar, and Borko Furht, “ Text Data Augmentation for Deep Learning ,” Journal of Big Data , 2021, . Rico Sennrich, Barry Haddow, and Alexandra Birch, “ Improving Neural Machine Translation Models with Monolingual Data ,” Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, 2016, pp. 86-96. 12 Connor Shorten, Taghi M. Khoshgoftaar, and Borko Furht, “ Text Data Augmentation for Deep Learning ,” Journal of Big Data , 2021. Lichao Sun, Congying Xia, Wenpeng Yin, Tingting Liang, Philip Yu, and Lifang He, “ Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks ,” Proceedings of the 28th International Conference on Computational Linguistics, 2020. Hongyu Guo, Yongyi Mao, and Richong Zhang, “ Augmenting Data with Mixup for Sentence Classification: An Empirical Study ,” 2019. 13 Suorong Yang, Weikang Xiao, Mengchen Zhang, Suhan Guo, Jian Zhao, and Furao Shen, “ Image Data Augmentation for Deep Learning: A Survey ,” 2023. Alhassan Mumuni and Fuseini Mumuni, “ Data augmentation: A comprehensive survey of modern approaches ,” Array, Vol. 16, 2022. Evgin Goveri, “ Medical image data augmentation: techniques, comparisons and interpretations ,” Artificial Intelligence Review, Vol. 56, 2023, pp. 12561-12605. 14 Ekin D. Cubuk, Barret Zoph, Dandelion Mane, Vijay Vasu