## 対象読者

- Azure AI Search で CSV ファイルを使用したい方

## はじめに

Azure AI Search で CSV ファイルを使用した際に色々詰まったので、覚書として残しておきます。    
当方、Azureはあまり好きではない＋初心者なのであしからず。  

**当覚書は 2024/5/16 時点の情報を元に作成しています。**

## 1 対多のドキュメントの取り扱いについて

Azure AI Search で 1 対多のドキュメントを使用する際には、`Indexer` に以下の設定を行う必要があります。

```json
{
    ...
    "parameters": {
        "configuration": {
            ...
            "parsingMode": "delimitedText",
            "firstLineContainsHeaders": true,
            "delimitedTextDelimiter": ","
            "indexedFileNameExtensions": ".csv",
        },
    },
    ...
}
```

- [parsingMode](https://learn.microsoft.com/ja-jp/azure/search/search-howto-index-one-to-many-blobs): ドキュメントの解析方法を指定します。 default, delimitedTex, jsonArray, jsonLines などが指定できます。
- [firstLineContainsHeaders](https://learn.microsoft.com/ja-jp/azure/search/search-howto-index-csv-blobs#setting-up-csv-indexing): ドキュメントの最初の行がヘッダー行であるかどうかを指定します。
- [delimitedTextDelimiter](https://learn.microsoft.com/ja-jp/azure/search/search-howto-index-csv-blobs#setting-up-csv-indexing): ドキュメントのフィールドを区切るためのデリミタを指定します。
- [indexedFileNameExtensions](https://learn.microsoft.com/ja-jp/azure/search/search-blob-storage-integration#controlling-which-blobs-are-indexed): インデックスに含めるファイルの拡張子を指定します。

1 対多のドキュメントとは、.csv, .json, .jsonl などのファイル形式で複数のドキュメント(行)を 1 つのファイルにまとめたものです。
また、各ドキュメント(全 RAG データの行)ごとに一意 ID を振る必要があり、[公式ドキュメント](https://learn.microsoft.com/ja-jp/azure/search/search-howto-index-one-to-many-blobs#custom-field-mapping-for-index-key-field)では、自動生成される AzureSearch_DocumentKey を Field に追加して使用するように促しています。

## Field Mapping

Azure AI Search では、データをインポートする際に、データのフィールドを `Index` のフィールドにマッピングする必要があります。

一対多のドキュメントの場合は、`metadata_storage_path property` に基づく暗黙的なドキュメント キーを使用することはできないので、上記に記載したように、`AzureSearch_DocumentKey` を使用する必要があります。

<https://learn.microsoft.com/ja-jp/azure/search/search-howto-index-one-to-many-blobs#one-to-many-document-key>

```json
{
    ...
    "fields": [
        {
            "name": "AzureSearch_DocumentKey",
            "type": "Edm.String",
            "key": true,
            "searchable": false,
            "filterable": false,
            "retrievable": true,
            "sortable": false,
            "facetable": false
        },
        ...
    ],
    ...
}
```

各フィールドには以下のプロパティを設定することができます。

<https://learn.microsoft.com/ja-jp/azure/search/search-what-is-an-index>

- searchable: 検索可能かどうか
- filterable: フィルタリング可能かどうか
- retrievable: 取得可能かどうか
- sortable: ソート可能かどうか
- facetable: ファセット(集計)可能かどうか

## Azure Portal を使用した Index の作成

Azure Portal では以下の 3 つの方法で Index を作成することができます。

- [データのインポート](https://learn.microsoft.com/ja-jp/azure/search/search-import-data-portal)
- [データのインポートとベクトル化](https://learn.microsoft.com/ja-jp/azure/search/search-get-started-portal-import-vectors)
- JSON 形式の設定をコピペして追加(Index, Indexer, SkillSet, Datasource)

データのインポートとベクトル化を使用する場合、データのインポートより簡単に設定できますが、1 対多のドキュメントを使用する場合はデータのインポートを使用した方が簡単に設定できます。

データのインポートとデータのベクトル化の違いは以下の通りです。

- データのインポート
  - GUIでCognitive Skill を使用を設定できる
  - GUIでField を設定できる(データのカラムが統一されていれば、自動で Field の候補に追加されている, Analyzerも一緒に設定できるので、便利)
  - Vectorのフィールドは自動生成されないので、右の点3つからベクトルフィールドの構成を選んでEmbeddingモデルの指定やProfileの作成を行う必要がある
- データのインポートとベクトル化
  - GUIでCognitive Skill を使用を設定できない
  - Field は自動で設定される(こちらから設定はできない)
  - ドキュメントを分割してくれる TextSplitter のスキルが自動的に追加される
  - 使用するEmbeddingを選べば、Vectorのフィールドまで自動で追加される
  - データのインポートより簡単に設定できる

私はデータのインポートとベクトル化の方が作成が簡単だったので、この方法で生成された JSON を参考にしながら検証を行っていましたが、これは使わなかった方が良かったと後悔しています。  
また、どちらの方法を選んだ場合でも、indexの設定を更新する際に、indexの設定をコピーし、一度indexを削除してから、JSONの追加でペーストするというような形でしか更新できないので、不便です。

## SkillSet について

ドキュメントに詳しいことは書かれていないため、私の所感ではありますが、1 対多のドキュメントを使用する場合は delimitedText 解析モードがよしなにしてくれるため、TextSplitter のスキルはないほうが良いと思います。  
理由としては、データのインポートとベクトル化から TextSplitter と delimitedText 解析モードが共存する設定を行った場合、chunk と title 以外のフィールドが null で返ってきてしまい、`/document/pages/*/column_name`でマッピングを明示的にしてみましたが、それでも null で返ってきてしまいました。  
[Index 生成のフロー](https://learn.microsoft.com/ja-jp/azure/search/search-indexer-field-mappings?tabs=rest)を見ると Document Cracking が Skillset Execution の前に行われているため、delimiterText 解析モードがあまり意味をなさないのかもしれません。
データのインポートから作成を行った際には、SkillSet の自体がなくなっていましたが、RAG の検索結果は良い結果が返ってきたことから、マッピングがうまくいっていないとフルテキスト検索の精度が落ちると思います。  
JSON を使用した[公式のチュートリアル](https://learn.microsoft.com/ja-jp/azure/search/search-semi-structured-data)でも、SkillSet は使用されていません。

## LangChain を使用した検索

LangChain では、以下の方法で AzureAISearch を使用することができる。
<https://python.langchain.com/v0.1/docs/integrations/vectorstores/azuresearch/>

LangChain でフィールドを指定する際には、環境変数を使用して指定する必要がある。
<https://api.python.langchain.com/en/latest/_modules/langchain_community/vectorstores/azuresearch.html#AzureSearch>

```python
# Allow overriding field names for Azure Search
FIELDS_ID = get_from_env(
    key="AZURESEARCH_FIELDS_ID", env_key="AZURESEARCH_FIELDS_ID", default="id"
)
FIELDS_CONTENT = get_from_env(
    key="AZURESEARCH_FIELDS_CONTENT",
    env_key="AZURESEARCH_FIELDS_CONTENT",
    default="content",
)
FIELDS_CONTENT_VECTOR = get_from_env(
    key="AZURESEARCH_FIELDS_CONTENT_VECTOR",
    env_key="AZURESEARCH_FIELDS_CONTENT_VECTOR",
    default="content_vector",
)
FIELDS_METADATA = get_from_env(
    key="AZURESEARCH_FIELDS_TAG", env_key="AZURESEARCH_FIELDS_TAG", default="metadata"
)
```

また、検索の際に渡される引数は以下のようになっているため、細かい設定を行いたい場合は、[OData $filter 式](https://learn.microsoft.com/ja-jp/azure/search/search-filters)を使用するか、AzureSearch の API を直接使用する必要がある。

LangChain 内部では SearchClient の[search 関数](https://learn.microsoft.com/ja-jp/dotnet/api/azure.search.documents.searchclient.search?view=azure-dotnet)を呼んでおり、その引数には[SearchOptions](https://learn.microsoft.com/ja-jp/dotnet/api/azure.search.documents.searchoptions?view=azure-dotnet)として Odata のフィルター式相当の設定値を渡すことができる。
そのため、特段指定がない限りは、API を直接呼ぶより、OData のフィルター式を使用した方が良いと思われる。

```python
 def vector_search_with_score(
        self, query: str, k: int = 4, filters: Optional[str] = None
    ) -> List[Tuple[Document, float]]:
        ...
```

## まとめ

- 1 対多のドキュメント(.csv, .json, .jsonl)をする場合は parseMode を対応したものに設定する必要がある
- Field Mapping で 一意の ID を行に振る必要がある
- Azure Portal で Index を作成する場合はデータのインポートから作成するのが良い
- 1 対多のドキュメントを使用する際には Field の Mapping ができなくなるので、 SkillSet は使用しない方が良い
- LangChainは環境変数とfilterでどうにかなるので、直接APIを叩くようにしなくてもよい(直接叩くようにしてしまったため、後悔しています)



Azure AI SearchでCSVファイルを使う方法

脱・人海戦術

Author

Ryo Arai

Jobs

AI Engineer

Full Stack Engineer

SNS

カテゴリ

タグ

PlayGround